CN115661263A

CN115661263A - 一种基于卷积神经网络的针孔摄像机标定方法

Info

Publication number: CN115661263A
Application number: CN202211304506.2A
Authority: CN
Inventors: 吴军; 高炯笠
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2023-01-31

Abstract

本发明公开了一种基于卷积神经网络的针孔摄像机标定方法，包括以下步骤：构建样本集和初始卷积神经网络，基于所述样本集对初始卷积神经网络进行训练，获得目标卷积神经网络；基于所述目标卷积神经网络对畸变直线坐标进行畸变纠正和椭圆转换处理，获得针孔摄像机的目标标定参数，所述目标标定参数包括主点和焦距；基于所述目标标定参数对针孔图像进行失真纠正。本发明结合直线必须是直的及空间直线通过球面投影后是理想椭圆的几何先验构建卷积神经网络，通过对针孔相机纠正直线和理想椭圆映射关系的学习来获得针孔相机内在球面投影空间关系，从而有利于针孔相机参数的完整、准确估计，并具有良好的场景迁移学习能力。

Description

一种基于卷积神经网络的针孔摄像机标定方法

技术领域

本发明属于图像处理领域，特别是涉及一种基于卷积神经网络的针孔摄像机标定方法。

背景技术

检查和校准摄像机内部参数(内方位元素和光学畸变参数)的过程称之为摄像机标定，是各类图像视觉任务实施的前提与基础，其标定参数完整性、精度将直接影响到视觉任务实施效果。目前市场上常见的视频监控摄像机、手机摄像头及用于各种视觉任务的各种数码广泛采用“针孔”成像模型，根据标定计算所采用的参照对象，现有针孔摄像机标定方法可简单分为两类：人工参考对象标定方法和自然场景自标定方法。人工参考对象标定方法要求具有已知3D坐标或特定参考平面中2D坐标的控制点，多使用高精度的2D棋盘格或室内3维控制场，但前者要求进行不同视角多次摄影以保障标定精度，后者则建造较复杂且需不断维护。自然场景自标定方法主要是利用场景自身在成像模型下的几何投影特性如“直线仍然是直的”，作为约束条件自动建立标定方程并优化求解参数，其优点在于自动化程度高、应用简单。随着深度学习的发展，以卷积神经网络(CNN)为代表的深度学习技术被引入摄像机相机标定过程以实现摄像机内方位元素、光学畸变参数的端到端输出目的，然而现有的针孔摄像机CNN标定算法无法完整获取摄像机内部参数，或虽能够较好的实现影像畸变针孔，却无法确切给出畸变系数；此外，由于繁琐的样本标注工作以及数据集本身不够全面，网络泛化和迁移能力将是一个潜在的问题。

发明内容

本发明的目的是提供一种基于卷积神经网络的针孔摄像机标定方法，该方法具有良好的场景迁移学习能力，且对于具有大量直线的人工场景具有较好的应用价值，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于卷积神经网络的针孔摄像机标定方法，包括以下步骤：

构建样本集和初始卷积神经网络，基于所述样本集对初始卷积神经网络进行训练，获得目标卷积神经网络；

基于所述目标卷积神经网络对畸变直线坐标进行畸变纠正和椭圆转换处理，获得针孔摄像机的目标标定参数，所述目标标定参数包括主点和焦距；

基于所述目标标定参数对针孔图像进行失真纠正。

可选的，构建样本集的过程包括，通过对针孔图像进行椭圆转换处理，获得理想椭圆弧，将针孔图像上的像素坐标与所述理想椭圆弧坐标一一对应，并将进行球面投影的半球半径作为针孔摄像机的焦距；基于椭圆转换处理的过程构建样本集，并将所述样本集按照文件方式进行管理；

其中，每一文件中均包括预设取值范围下随机生成的标定参数、畸变直线采样点坐标序列、纠正直线采样点坐标序列、理想椭圆弧坐标及理想椭圆弧的参数。

可选的，对畸变直线坐标进行畸变纠正和椭圆转换处理的过程包括，所述目标卷积神经网络包括若干个卷积模块，采集畸变直线坐标并输入到第一卷积模块中进行处理，获得纠正直线坐标，同时获得对应的畸变系数；将所述纠正直线坐标输入到第二卷积模块中进行处理，获得新的纠正直线坐标；将所述新的纠正直线坐标和对应直线的方向向量结合输入到第三卷积模块中进行椭圆转换处理，获得理想椭圆弧坐标；基于所述理想椭圆弧坐标获得针孔摄像机的目标标定参数。

可选的，基于所述理想椭圆弧坐标获得针孔摄像机的目标标定参数的过程包括，所述理想椭圆弧对应的椭圆参数分别为长轴、短轴、旋转角和离心率，所述长轴即为针孔摄像机的焦距；基于第四卷积模块对所述新的纠正直线坐标进行重建处理，获得重建后的纠正直线坐标，进而获得针孔摄像机的主点坐标。

可选的，获得纠正直线坐标的过程包括，基于旋转矩阵和平移矩阵，将空间中的点坐标转换成摄像机坐标系下的点坐标；预设针孔摄像机的焦距和主点，将摄像机坐标系下的点坐标在像平面上进行投影处理，转换成像平面上的点坐标；

其中，在成像过程中发生畸变，预设第一畸变系数和第二畸变系数，基于预设主点坐标和有畸变点的坐标，获得有畸变点坐标到预设主点坐标的距离；基于第一卷积模块对所述第一畸变系数、第二畸变系数、有畸变点坐标到预设主点坐标的距离、预设主点坐标和有畸变点的坐标进行处理，获得无畸变点的坐标；所述无畸变点的坐标即为纠正直线坐标。

可选的，进行椭圆转换之前还包括，以针孔摄像机的焦距为半径设定一个半球，所述针孔摄像机的主点和所述半球相切，并且所述半球的球心与主点相连的直线与摄像机光心重合。

可选的，获得理想椭圆弧坐标的过程包括，将像平面上的新的纠正直线转换为对应的空间直线，将所述空间直线上的点沿着和半球中心构成的射线映射到半球面上获得大圆弧，进而将所述大圆弧映射到半球底面所在的平面上，获得对应的理想椭圆弧，所述理想椭圆弧所在的椭圆中心即为半球中心。

本发明的技术效果为：

本发明结合直线必须是直的及空间直线通过球面投影后是理想椭圆的几何先验构建卷积神经网络，将直线必须是直的几何先验引入直线纠正模块，通过对针孔相机纠正直线和理想椭圆映射关系的学习来获得针孔相机内在球面投影空间关系，从而有利于针孔相机参数的完整、准确估计，并具有良好的场景迁移学习能力，总体上优于现有的深度学习针孔相机标定算法，对于具有大量直线的人工场景具有较好的应用价值。

本发明提出了一种新的数据集生成方式，根据球面投影下针孔图像直线和理想椭圆间的像素坐标映射关系自动生成包含畸变直线、纠正直线、理想椭圆、针孔相机内部参数的样本集，不仅避免了传统CCN训练学习所需的大量样本标注工作，且由于侧重于从直线所在像素的坐标位置信息中学习明确的场景几何，并不涉像素光谱信息，设计的网络具有良好的场景迁移学习能力。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的针孔相机成像模型示意图；

图2为本发明实施例中的针孔图像球面投影变换示意图；

图3为本发明实施例中的针孔相机标定卷积神经网络的网络结构示意图，其中(a)为卷积神经网络的卷积模块结构示意图；(b)为卷积神经网络的参数估计模块和畸变校正模块的结构示意图；

图4为本发明实施例中的针孔摄像机标定方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-4所示，本实施例中提供一种基于卷积神经网络的针孔摄像机标定方法，包括：

样本集构建

通过针孔相机成像模型集合球面投影变换，能够将畸变直线转换成理想椭圆弧，可以将针孔图像上的像素坐标p(x,y)和理想椭圆弧上的像素坐标q(u,v)一一对应，且将球面投影半径设定为针孔相机的焦距f，那么这一变换过程就完整包含了针孔相机的参数，据此来构建样本集，其中样本集按文件方式组织管理，每一文件中记录有：给定取值范围下随机生成的镜头参数

原始畸变直线采样点坐标序列

纠正直线采样点坐标序列

球面投影后理想椭圆弧

及理想椭圆弧的参数，需要注意的是，其中涉及到的旋转矩阵中的三个旋转角可以在一定范围内等间隔选取，且本实施例构建的卷积神经网络并不具体学习三个旋转角。

标定卷积神经网络设计

假定已检测得到针孔图像上的畸变直线

并以之为输入，本实施例构建结构如图3所示的卷积神经网络PinholeCalNet用于实现针孔相机参数的端到端完整估计，以畸变直线

(采样点)为输入，输出理想椭圆弧

(采样点)和针孔相机内部参数

进一步的，可利用标定参数对针孔图像进行去失真(平面透视)纠正。

具体的，首先将采集得到的畸变直线坐标(x”,y”)输入，通过卷积模块得到纠正后的直线坐标，并同时估计得到相应的畸变系数，进一步将纠正直线坐标(x’,y’)利用新的卷积模块输出新的纠正直线坐标(x,y)，这一步实际就是学习主点偏移的内在平移关系，然后将(x,y)和所在直线的方向向量结合作为输入，用于球面投影的学习，即变换后成为理想椭圆弧坐标(u,v)，该理想椭圆弧对应的椭圆参数(a,b,θ,e)分别为长短轴、旋转角和离心率，而由于设定的投影球半径为f，因此a＝f，即得到了相机的焦距。再通过一个卷积模块利用理想椭圆弧进行纠正直线坐标(x,y)(x’,y’)重建，利用重建后的(x,y)(x’,y’)即可求得平移关系，即相机的主点坐标，最终也就得到了所有的相机内参。而这其中，卷积模块是由一维卷积，多头自注意力机制构成，参考Unet网络，构成U型结构，并包含跳阶。整个网络包含多个卷积模块，但是输入输出都不一样。

其中，通过卷积模块得到纠正后的直线坐标，并同时估计得到相应的畸变系数的过程为：

整个针孔相机成像过程如图1所示，通过小孔成像模型，将空间中的点P(Xw,Yw,Zw)经过光心O，在成像平面上投影成像素点P’(u,v)。

世界坐标系到摄像机坐标系，通过旋转矩阵R和平移矩阵T，从空间点Pw转换到摄像机坐标系下的Pc，其关系可表示为：

摄像机坐标系到像素坐标系主要和焦距，主点相关，从摄像机坐标系的Pc转换到像素坐标系，其关系可表示为：

将上述两个步骤整合，假定x,y两个方向的焦距相同且不存在平移，最终P和P’之间的关系可以表示为：

由于成像过程中还涉及到相机的畸变，本实施例只考虑径向畸变，且取两个畸变系数k₁,k₂，设P_C1(x_C1,y_C1)为无畸变点，P_D1(x_D1,y_D1)为有畸变点，

r为有畸变点到主点坐标的距离，(u₀,v₀)为主点坐标。

上述成像过程中，参数(u₀,v₀,f,k₁,k₂)与针孔相机本身光学设计、加工相关，称为内部参数，为本方案针孔相机待标定参数。

其中，理想椭圆弧的构建过程包括：

引入针孔影像上的直线通过球面投影后成为理想椭圆弧这一约束，将针孔影像进行球面投影变换，以相机焦距f为半径设定一个半球，针孔影像的主点和半球相切，且半球球心和影像主点相连的直线与光心重合，其变换过程可以分为如下三步：

空间坐标变换，即利用针孔相机成像原理，将像平面J上的一条线段P_C1P_C2转换成对应的空间直线，且空间直线所在的空间坐标正是基于O-XYZ像空间辅助坐标系，其变换公式如下：

如图2所示，[x,y,-f]^T为像平面J上直线段P_C1P_C2中的点，f为相机等效焦距，R1为坐标轴O-XYZ，O-XYZ之间的相对关系，由

ω,κ求得，a₁,a₂,a₃,b₁,b₂,b₃,c₁,c₂,c₃分别代表旋转矩阵R₁中的9个元素。

球面投影，像平面J上直线段变换成空间直线后，将空间直线上的点沿着和半球中心O构成的射线映射到半球面上成为大圆弧P_S1P_S2，其投影公式如下：

正交投影，即将半球面上的大圆弧P_S1P_S2映射到半球底面OXY所在平面，最终获得一段P_M1P_M2的理想椭圆弧，该理想椭圆弧所在的椭圆中心即为半球中心O。两者变换关系如下：

x_m＝X_s,y_m＝Y_s (7)

上述变换过程与相机和半球之间的相对外参R₁以及相机焦距f有关，本实施例主要关注相机内参，因此该变换只关注焦距f，且顺利引入了直线通过球面投影变换后成为理想椭圆的约束。

本实施例的相机标定过程首先构建样本集，给定取值范围内随机生成针孔内部参数

其中：u₀,v₀,f均以像素为单位；i＝1,2,...,I，I表示参数样本数量。根据给定参数值fⁱ构建尺寸大小为fⁱ×fⁱ的平面上随机生成直线段SL^j，(j＝1,2,...,J)。根据给定的针孔相机参数

及公式(2)、公式(3)、公式(4)、公式(5)、公式(6)、公式(7)计算得到L^j球面投影后的理想椭圆弧

利用畸变公式(1)得到有畸变的直线

其中：(u_n,v_n)，(x_n,y_n)分别表示

上同一采样点在畸变直线、纠正直线上的坐标，N为采样点个数。然后利用生成的样本集在设计的PinholeCalNet网络上进行训练，先将畸变直线纠正，估计出纠正直线和畸变系数，然后将纠正直线输入，估计出针孔相机的主点和焦距。最后将训练好的网络运用到实际影像中估计参数，利用标定参数对针孔图像进行去失真纠正。

本实施例构建了一个卷积神经网络PinholeCalNet用于针孔相机参数的完整估计，该网络充分利用直线必须是直的，空间直线经过球面投影后变成理想椭圆的几何先验进行训练学习并包含针孔图像直线纠正、针孔相机参数估计两个模块；将直线必须是直的几何先验引入直线纠正模块，通过对针孔相机纠正直线和理想椭圆映射关系的学习来获得针孔相机内在球面投影空间关系，从而有利于针孔相机参数的精确估计；本实施例提出了一种新的数据集生成方式，根据球面投影下针孔图像直线和理想椭圆间的像素坐标映射关系自动生成包含畸变/纠正直线、理想椭圆、针孔相机内部参数的样本集，不仅避免了传统CCN训练学习所需的大量样本标注工作，且由于侧重于从直线所在像素的坐标位置信息中学习明确的场景几何，并不涉像素光谱信息，设计网络将具有良好的场景迁移学习能力。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于卷积神经网络的针孔摄像机标定方法，其特征在于，包括以下步骤：

基于所述目标标定参数对针孔图像进行失真纠正。

2.根据权利要求1所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

构建样本集的过程包括，通过对针孔图像进行椭圆转换处理，获得理想椭圆弧，将针孔图像上的像素坐标与所述理想椭圆弧坐标一一对应，并将进行球面投影的半球半径作为针孔摄像机的焦距；基于椭圆转换处理的过程构建样本集，并将所述样本集按照文件方式进行管理；

3.根据权利要求1所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

对畸变直线坐标进行畸变纠正和椭圆转换处理的过程包括，所述目标卷积神经网络包括若干个卷积模块，采集畸变直线坐标并输入到第一卷积模块中进行处理，获得纠正直线坐标，同时获得对应的畸变系数；将所述纠正直线坐标输入到第二卷积模块中进行处理，获得新的纠正直线坐标；将所述新的纠正直线坐标和对应直线的方向向量结合输入到第三卷积模块中进行椭圆转换处理，获得理想椭圆弧坐标；基于所述理想椭圆弧坐标获得针孔摄像机的目标标定参数。

4.根据权利要求3所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

基于所述理想椭圆弧坐标获得针孔摄像机的目标标定参数的过程包括，所述理想椭圆弧对应的椭圆参数分别为长轴、短轴、旋转角和离心率，所述长轴即为针孔摄像机的焦距；基于第四卷积模块对所述新的纠正直线坐标进行重建处理，获得重建后的纠正直线坐标，进而获得针孔摄像机的主点坐标。

5.根据权利要求3所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

获得纠正直线坐标的过程包括，基于旋转矩阵和平移矩阵，将空间中的点坐标转换成摄像机坐标系下的点坐标；预设针孔摄像机的焦距和主点，将摄像机坐标系下的点坐标在像平面上进行投影处理，转换成像平面上的点坐标；

其中，在成像过程中发生畸变，预设第一畸变系数和第二畸变系数，基于预设主点坐标和有畸变点的坐标，获得所述有畸变点坐标到预设主点坐标的距离；基于第一卷积模块对所述第一畸变系数、第二畸变系数、有畸变点坐标到预设主点坐标的距离、预设主点坐标和有畸变点的坐标进行处理，获得无畸变点的坐标；所述无畸变点的坐标即为纠正直线坐标。

6.根据权利要求3所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

进行椭圆转换之前还包括，以针孔摄像机的焦距为半径设定一个半球，所述针孔摄像机的主点和所述半球相切，并且所述半球的球心与主点相连的直线与摄像机光心重合。

7.根据权利要求6所述的基于卷积神经网络的针孔摄像机标定方法，其特征在于，

获得理想椭圆弧坐标的过程包括，将像平面上的新的纠正直线坐标转换为对应的空间直线，将所述空间直线上的点沿着和半球中心构成的射线映射到半球面上获得大圆弧，进而将所述大圆弧映射到半球底面所在的平面上，获得对应的理想椭圆弧，所述理想椭圆弧所在的椭圆中心即为半球中心。