CN106815869B

CN106815869B - 鱼眼相机的光心确定方法及装置

Info

Publication number: CN106815869B
Application number: CN201611077901.6A
Authority: CN
Inventors: 林春雨; 韦世奎; 马珂; 高奕; 林鸿运; 王欣; 黄奇; 钟洪波
Original assignee: Beijing Xinyangquan Electronic Technology Co ltd; Beijing Jiaotong University
Current assignee: Beijing Xinyangquan Electronic Technology Co ltd; Beijing Jiaotong University
Priority date: 2016-10-28
Filing date: 2016-11-30
Publication date: 2020-06-19
Anticipated expiration: 2036-11-30
Also published as: CN106815869A

Abstract

本发明涉及鱼眼相机的光心确定方法及装置。该方法包括：确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；确定畸变图的特征点，并对特征点进行映射处理，得到特征点在校正图中对应的校正点；分别对校正图的各行各列的校正点进行拟合，得到校正图的各行各列对应的拟合直线；根据光心参考坐标确定多个候选光心坐标；对于每个候选光心坐标，分别计算校正图的各行各列的校正点到拟合直线的距离之和；将使距离之和最小的候选光心坐标确定为鱼眼相机的光心坐标。根据本发明的鱼眼相机的光心确定方法及装置能够减小内部参数矩阵中参数的误差，提高鱼眼相机的光心确定的精确度，从而能够提高鱼眼相机的标定精度，使校正后的图像更准确。

Description

鱼眼相机的光心确定方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种鱼眼相机的光心确定方法及装置。

背景技术

随着计算机视觉技术的不断发展，复杂场景的实时绘制已经成为可能，其生成的全景图像被应用于医学成像、军事遥感、虚拟现实世界和车载安全等众多领域。全景图像拼接技术首先采集各个方向的图像，然后利用相邻两个方向图像重叠部分的像素相似性，将多幅图像拼接成一幅大的图像。为了使其最大程度地接近现实场景，通常采用特殊的鱼眼镜头采集图像。

鱼眼镜头是一种超广角镜头，因其前镜片呈抛物状向镜头前部凸出，与鱼眼睛颇为相似而得名。鱼眼镜头的视角可接近或等于180°(部分特殊鱼眼镜头的视野宽度甚至可达220°至230°)，并且其价格经济实惠，已在诸多领域得到了广泛的应用，例如：计算机视觉、虚拟现实、行车安全以及视觉监控等。

虽然鱼眼镜头可以获得很大的视角，但是根据物理成像的规律，焦距越短，视角越大，为了获得较广的视野，鱼眼镜头的焦距为16mm或者更短。因此，鱼眼相机采集的图像通常都引入了桶形畸变，所成图像除了画面中心点的景物保持不变外，其他本应该水平或者竖直的景物都发生了相应的变化。图1示出鱼眼相机所采集的图像发生桶形畸变的示意图。如图1所示，由于鱼眼相机所采集的图像发生桶形畸变，因此图像的内容不能很好地被使用者所理解。为了符合人眼的观察习惯，在进行图像拼接之前，需要对鱼眼镜头的相关参数进行精确地校正，这个校正的过程在计算机视觉中称为标定。

与常规的小孔成像原理不同，鱼眼镜头的成像基于非相似原理。图2示出鱼眼相机投影模型的示意图。如图2所示，将鱼眼镜头近似看成是一个半球模型，世界坐标系中的点M＝(X_W,Y_W,Z_W)发出的光线首先通过鱼眼相机光心O，映射到相机坐标系上的点P＝(X_C,Y_C,Z_C)，投影关系如式1所示：

其中，R是世界坐标系和相机坐标系之间的旋转矩阵，t是一个三维的平移向量。从M出发的光线投影到成像平面，由于光路弯曲，因此投影成点m，而一般透视投影的投影点为m′。该投影关系如式2所示：

λm＝g(K·P) 式2；

其中，

λ为非零度因子，K为内参数矩阵，f_x和f_y分别是图像水平轴和垂直轴的尺度因子，c_x和c_y是图像坐标系原点在像素坐标系中的坐标。

该投影过程是非线性的，根据投影函数g的不同，可以提出不同的鱼眼相机模型。

在给定的相机参数表中，镜头的光心坐标也是估计值，如果将该值作为参数代入到内部参数矩阵中进行后续的操作，就会出现误差的累积，从而大大影响相机标定以及后续图像拼接的精确性。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，鱼眼相机的光心确定的精确度较低。

解决方案

为了解决上述技术问题，根据本发明的一实施例，提供了一种鱼眼相机的光心确定方法，包括：

确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

确定畸变图的特征点，并对所述特征点进行映射处理，得到所述特征点在校正图中对应的校正点；

分别对所述校正图的各行各列的校正点进行拟合，得到所述校正图的各行各列对应的拟合直线；

根据光心参考坐标确定多个候选光心坐标；

对于每个所述候选光心坐标，分别根据所述内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，计算所述校正图的各行各列的校正点到拟合直线的距离之和；

将使所述距离之和最小的候选光心坐标确定为所述鱼眼相机的光心坐标。

对于上述方法，在一种可能的实现方式中，确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，包括：

采用式4确定所述内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

其中，K表示所述内部参数矩阵，f_x表示所述内部参数矩阵的水平轴的尺度因子，f_y表示所述内部参数矩阵的垂直轴的尺度因子，c_x和c_y表示图像坐标系的原点在像素坐标系中的坐标，d_x表示第一参数表中的每个像素在图像平面的水平轴方向上的物理尺寸，d_y表示所述第一参数表中的每个像素在图像平面的垂直轴方向上的物理尺寸，f表示所述鱼眼相机的焦距。

对于上述方法，在一种可能的实现方式中，对所述特征点进行映射处理，得到所述特征点在校正图中对应的校正点，包括：

确定所述特征点与所述畸变图的中心点的第一距离；

根据所述第一距离以及预设比例确定所述特征点在校正图中对应的校正点与所述校正图的中心点的第二距离；

根据所述特征点与所述畸变图的中心点的相对位置、所述校正图的中心点以及所述第二距离确定所述特征点在校正图中对应的校正点。

为了解决上述技术问题，根据本发明的另一实施例，提供了一种鱼眼相机的光心确定装置，包括：

内部参数矩阵确定模块，用于确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

校正点确定模块，用于确定畸变图的特征点，并对所述特征点进行映射处理，得到所述特征点在校正图中对应的校正点；

拟合直线确定模块，用于分别对所述校正图的各行各列的校正点进行拟合，得到所述校正图的各行各列对应的拟合直线；

候选光心坐标确定模块，用于根据光心参考坐标确定多个候选光心坐标；

距离和计算模块，用于对于每个所述候选光心坐标，分别根据所述内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，计算所述校正图的各行各列的校正点到拟合直线的距离之和；

光心确定模块，用于将使所述距离之和最小的候选光心坐标确定为所述鱼眼相机的光心坐标。

对于上述装置，在一种可能的实现方式中，所述内部参数矩阵确定模块用于：

对于上述装置，在一种可能的实现方式中，所述校正点确定模块包括：

第一距离确定子模块，用于确定所述特征点与所述畸变图的中心点的第一距离；

第二距离确定子模块，用于根据所述第一距离以及预设比例确定所述特征点在校正图中对应的校正点与所述校正图的中心点的第二距离；

校正点确定子模块，用于根据所述特征点与所述畸变图的中心点的相对位置、所述校正图的中心点以及所述第二距离确定所述特征点在校正图中对应的校正点。

有益效果

通过确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，确定畸变图的特征点，并映射得到特征点在校正图中对应的校正点，分别对校正图的各行各列的校正点进行拟合，得到校正图的各行各列对应的拟合直线，根据光心参考坐标确定多个候选光心坐标，对于每个候选光心坐标，分别根据内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，计算校正图的各行各列的校正点到拟合直线的距离之和，并将使距离之和最小的候选光心坐标确定为鱼眼相机的光心坐标，根据本发明实施例的鱼眼相机的光心确定方法及装置能够减小内部参数矩阵中参数的误差，提高鱼眼相机的光心确定的精确度，从而能够提高鱼眼相机的标定精度，使校正后的图像更准确。

根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出鱼眼相机所采集的图像发生桶形畸变的示意图；

图2示出鱼眼相机投影模型的示意图；

图3示出根据本发明一实施例的鱼眼相机的光心确定方法的实现流程图；

图4示出根据本发明一实施例的鱼眼相机的光心确定方法中鱼眼相机采集的图像的示意图；

图5示出根据本发明一实施例的鱼眼相机的光心确定方法中候选光心坐标对应的距离之和的示意图；

图6示出根据本发明一实施例的鱼眼相机的光心确定方法中对图4所示的图像进行标定得到的校正图的示意图；

图7示出根据本发明一实施例的鱼眼相机的光心确定方法中第一参数表的示意图；

图8示出根据本发明一实施例的鱼眼相机的光心确定方法步骤S302中对特征点进行映射处理，得到特征点在校正图中对应的校正点的一示例性的实现流程图；

图9示出根据本发明另一实施例的鱼眼相机的光心确定装置的结构框图；

图10示出根据本发明另一实施例的鱼眼相机的光心确定装置的一示例性的结构框图；

图11示出了本发明的另一个实施例的一种鱼眼相机的光心确定设备的结构框图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

实施例1

图3示出根据本发明一实施例的鱼眼相机的光心确定方法的实现流程图。如图3所示，该方法包括：

在步骤S301中，确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子。

作为本实施例的一个示例，可以根据第一参数表确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子。其中，第一参数表可以为鱼眼相机的厂商提供的相机参数表。

在步骤S302中，确定畸变图的特征点，并对特征点进行映射处理，得到特征点在校正图中对应的校正点。

其中，畸变图可以为鱼眼相机采集的标定板图像。由于标定板可以很好地确定空间物体表面某点的三维几何位置与其在图像中对应点之间的关系，从而可以很大程度上减小人为误差。图4示出根据本发明一实施例的鱼眼相机的光心确定方法中鱼眼相机采集的图像的示意图。如图4所示，鱼眼相机采集的图像为畸变图。

作为本实施例的一个示例，确定畸变图的特征点，并得到每个特征点的坐标。对畸变图的特征点进行映射处理，得到畸变图中的各特征点在校正图中对应的校正点。

在步骤S303中，分别对校正图的各行各列的校正点进行拟合，得到校正图的各行各列对应的拟合直线。

在一种可能的实现方式中，可以将校正图的各行各列的校正点输入直线拟合函数中，得到校正图的各行各列对应的拟合直线。例如，可以采用不同的距离函数实现直线拟合，在此不作限定。

在步骤S304中，根据光心参考坐标确定多个候选光心坐标。

例如，一组进行实验的图像的光心参考坐标为(350，277)，预设的遍历范围为光心参考坐标的横纵坐标正负各20个像素值，即候选光心区域的横坐标范围为330～370，纵坐标范围为257～297。根据光心参考坐标和预设的遍历范围，可以确定候选光心区域，并可以将候选光心区域中的所有坐标确定为候选光心坐标。

在步骤S305中，对于每个候选光心坐标，分别根据内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，计算校正图的各行各列的校正点到拟合直线的距离之和。

图5示出根据本发明一实施例的鱼眼相机的光心确定方法中候选光心坐标对应的距离之和的示意图。在图5中，横坐标表示候选光心坐标的编号，纵坐标表示候选光心坐标对应的距离之和。在一种可能的实现方式中，在遍历的过程中，可以先固定候选光心的横坐标，对候选光心的纵坐标在光心参考坐标的纵坐标附近进行正负20个像素的遍历，对应于每一个候选光心的横坐标，可以得到一条多个散点组成的平滑曲线(如图5的椭圆框中所示)，且每一个候选光心的横坐标对应一个最小的距离和，即图5中纵坐标最小的点。每一条散点图线的最小点即为该候选光心的横坐标下，使畸变校正结果最好的点。根据这些候选光心的编号、坐标和对应的距离之和(Dis)，可以得到表1：

表1

编号	X(横坐标)	Y(纵坐标)	Dis
				7	340	274	4.49805
49	341	274	4.26953
				89	342	274	4.95859
130	343	274	3.89746
				171	344	274	3.70947
212	345	274	3.43359
				….	….	….	….
294	347	274	3.24854
				335	348	274	3.14551
376	349	274	3.18823
				417	350	274	3.28101
….	….	….	….
				1524	377	274	9.4585
1565	378	274	9.72412

在步骤S306中，将使距离之和最小的候选光心坐标确定为鱼眼相机的光心坐标。

对于表1，首先进行纵向比较，当候选光心的纵坐标为274时，使得每一个候选光心的横坐标下对应的距离之和最小，即校正结果最好。再进行横向比较，即当候选光心的纵坐标为274时，比较所有候选光心的横坐标，找到其中使距离之和最小的横坐标，即为使校正结果最优的横坐标。例如，使距离之和最小的候选光心坐标为(348，274)，则将该候选光心坐标确定为鱼眼相机的光心坐标。该确定的光心坐标与光心参考坐标为(350，277)较接近。

表2示出了对5组图像进行实验得到的鱼眼相机的光心坐标和误差。如表2所示，经过本实施例校正后的图像，计算得到的鱼眼相机的光心坐标与光心参考坐标的误差明显减小，横坐标的误差约为2个像素值，纵坐标的误差约为2.7个像素值。

表2

图6示出根据本发明一实施例的鱼眼相机的光心确定方法中对图4所示的图像进行标定得到的校正图的示意图。由图6可知，利用本实施例确定鱼眼相机的光心后，对图像进行标定，能够优化标定结果。

本实施例能够减小内部参数矩阵中参数的误差，提高鱼眼相机的光心确定的精确度，从而能够提高鱼眼相机的标定精度，使校正后的图像更准确。

在一种可能的实现方式中，确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，包括：采用式4确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

其中，K表示内部参数矩阵，f_x表示内部参数矩阵的水平轴的尺度因子，f_y表示内部参数矩阵的垂直轴的尺度因子，c_x和c_y表示图像坐标系的原点在像素坐标系中的坐标，d_x表示第一参数表中的每个像素在图像平面的水平轴方向上的物理尺寸，d_y表示第一参数表中的每个像素在图像平面的垂直轴方向上的物理尺寸，f表示鱼眼相机的焦距。

在该实现方式中，利用第一参数表提供的每个像素在图像平面的水平轴方向上的物理尺寸、第一参数表中的每个像素在图像平面的垂直轴方向上的物理尺寸和鱼眼相机的焦距，并根据相机坐标系与图像坐标系之间的转换关系，可以得到内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子。图7示出根据本发明一实施例的鱼眼相机的光心确定方法中第一参数表的示意图。如图7所示，例如，已知d_x＝6.35um，d_y＝7.4um，f＝6.08mm，可以计算得到f_x＝958um，f_y＝822um。

图8示出根据本发明一实施例的鱼眼相机的光心确定方法步骤S302中对特征点进行映射处理，得到特征点在校正图中对应的校正点的一示例性的实现流程图。如图8所示，对特征点进行映射处理，得到特征点在校正图中对应的校正点，包括：

在步骤S801中，确定特征点与畸变图的中心点的第一距离。

在步骤S802中，根据第一距离以及预设比例确定特征点在校正图中对应的校正点与校正图的中心点的第二距离。

在步骤S803中，根据特征点与畸变图的中心点的相对位置、校正图的中心点以及第二距离确定特征点在校正图中对应的校正点。

在该示例中，根据鱼眼相机的厂商提供的预设比例，以及特征点与畸变图的中心点的第一距离，可以确定特征点在校正图中对应的校正点与校正图的中心点的第二距离。其中，畸变图的中心点与校正图的中心点的坐标相同。根据特征点、校正点与中心点三点共线，可以确定校正点的坐标。

在一种可能的实现方式中，可以确定畸变图中特征点的坐标，并将特征点的坐标依次写入txt文档中，并可以建立一个point2f类型的容器(point2f类型包含特征点的横坐标和纵坐标)，将txt文档中的特征点的坐标依次读入，并且将特征点的坐标保存在该容器中。对畸变图中的特征点进行映射，将映射后不在图像范围内的点舍去，可以得到满足要求的校正点在校正图中的坐标，并将其继续保存在该容器中。将该容器中的校正点集作为参数输入到直线拟合函数中，还可以得到拟合直线。

本实施例在已知第一参数表的前提下，基于直线拟合技术，能够获得更加精确的鱼眼相机的光心坐标，从而能够提高鱼眼相机的标定精确性。

实施例2

图9示出根据本发明另一实施例的鱼眼相机的光心确定装置的结构框图。如图9所示，该装置包括：内部参数矩阵确定模块91，用于确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；校正点确定模块92，用于确定畸变图的特征点，并对所述特征点进行映射处理，得到所述特征点在校正图中对应的校正点；拟合直线确定模块93，用于分别对所述校正图的各行各列的校正点进行拟合，得到所述校正图的各行各列对应的拟合直线；候选光心坐标确定模块94，用于根据光心参考坐标确定多个候选光心坐标；距离和计算模块95，用于对于每个所述候选光心坐标，分别根据所述内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，计算所述校正图的各行各列的校正点到拟合直线的距离之和；光心确定模块96，用于将使所述距离之和最小的候选光心坐标确定为所述鱼眼相机的光心坐标。

图10示出根据本发明另一实施例的鱼眼相机的光心确定装置的一示例性的结构框图。图10中标号与图9相同的组件具有相同的功能，为简明起见，省略对这些组件的详细说明。如图10所示：

在一种可能的实现方式中，所述内部参数矩阵确定模块91用于：

在一种可能的实现方式中，所述校正点确定模块92包括：第一距离确定子模块921，用于确定所述特征点与所述畸变图的中心点的第一距离；第二距离确定子模块922，用于根据所述第一距离以及预设比例确定所述特征点在校正图中对应的校正点与所述校正图的中心点的第二距离；校正点确定子模块923，用于根据所述特征点与所述畸变图的中心点的相对位置、所述校正图的中心点以及所述第二距离确定所述特征点在校正图中对应的校正点。

根据本发明实施例的鱼眼相机的光心确定装置能够减小内部参数矩阵中参数的误差，提高鱼眼相机的光心确定的精确度，从而能够提高鱼眼相机的标定精度，使校正后的图像更准确。

实施例3

图11示出了本发明的另一个实施例的一种鱼眼相机的光心确定设备的结构框图。所述鱼眼相机的光心确定设备1100可以是鱼眼相机或者与鱼眼相机相连的个人计算机PC等，在此不作限定。本发明具体实施例并不对计算节点的具体实现做限定。

所述鱼眼相机的光心确定设备1100包括处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于存放文件。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：实现实施例1或者实施例2中各步骤的操作。

本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种鱼眼相机的光心确定方法，其特征在于，包括：

根据第一参数表确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

分别对所述校正图的各行各列的校正点输入到直线拟合函数中进行拟合，得到所述校正图的各行各列对应的拟合直线；

根据光心参考坐标确定多个候选光心坐标；

2.根据权利要求1所述的方法，其特征在于，确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子，包括：

3.根据权利要求1所述的方法，其特征在于，对所述特征点进行映射处理，得到所述特征点在校正图中对应的校正点，包括：

确定所述特征点与所述畸变图的中心点的第一距离；

4.一种鱼眼相机的光心确定装置，其特征在于，包括：

内部参数矩阵确定模块，用于根据第一参数表确定内部参数矩阵的水平轴的尺度因子和垂直轴的尺度因子；

拟合直线确定模块，用于分别对所述校正图的各行各列的校正点输入到直线拟合函数中进行拟合，得到所述校正图的各行各列对应的拟合直线；

5.根据权利要求4所述的装置，其特征在于，所述内部参数矩阵确定模块用于：

6.根据权利要求4所述的装置，其特征在于，所述校正点确定模块包括：