CN111080711A

CN111080711A - 基于放大率的近似平行状态下显微成像系统的标定方法

Info

Publication number: CN111080711A
Application number: CN201911231301.4A
Authority: CN
Inventors: 达飞鹏; 张秀夫
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2020-04-28

Abstract

本发明公开了一种基于放大率的近似平行状态下显微成像系统的标定方法，简化旋转矩阵并和针孔模型结合，求解平移矩阵的前两个分量和相机主点坐标。引入放大率和高斯成像模型，利用以放大率表示的和真实的世界坐标系原点的图像坐标之间的关系，计算出放大率。使用放大倍数法测量出系统的物理焦距，根据高斯成像模型和计算出的放大率求出系统的物距和像距。利用计算出的系统参数建立无旋转的虚拟世界坐标系，并虚构位于虚拟坐标系中的无旋转的虚拟标定板。根据虚拟标定板上的点和真实标定板上点的图像坐标之际的数值关系，计算出虚拟坐标系到真实坐标系之间的旋转矩阵。根据畸变模型计算出畸变参数，并使用L‑M算法对所有参数进行优化。

Description

基于放大率的近似平行状态下显微成像系统的标定方法

技术领域

本发明涉及一种基于放大率的近似平行状态下显微成像系统的标定方法，属于计算机视觉中的相机标定领域。

背景技术

使用计算机视觉相关技术对物体进行三维形貌重构，是非接触式测量方案中的一种典型应用。在进行三维重构之前，需要标定出相机和投影仪成像面和世界坐标系之间的射影几何关系。

目前有三类方法广泛应用于相机标定：

(1)基于单应矩阵的标定方法，这是一种利用图片间的单应矩阵线性解出除畸变系数外所有参数的标定方法。这种方法求出的相机参数精度高且稳定，所以是目前最通用的标定算法，无论是远心镜头，还是鱼眼镜头，这种算法都占有一席之地。但是要得到图片之间的单应矩阵关系，至少要从角度明显不同的位置拍摄两幅图片，不适用于景深小的系统；

(2)径向自准直标定法，这种方法假设图片只受径向畸变影响，即只在和相机成像面垂直的方向上存在畸变，据此建立相机内外参的线性方程组，进而通过最小二乘法解出所有参数。此方法标定快速，且精确度高，并且只需要拍摄一幅图片，但是一旦标定物和成像面之间的夹角小于30°，通过此方法确立的线性方程组就会存在很大的奇异性，导致解出的参数不准；

(3)基于射影几何原理的标定方法，这种方法利用图片间的射影几何关系标定相机的内外参数。在这种方法中，为了计算出内外参数，需要分解基础矩阵或本质矩阵被，由于分解过程对噪声特别敏感，所以这类方法的精确度不高，通常用于监控摄像头这种对准确性要求不高，但是不需要要特殊标定物的场合。

随着精密制造技术的日渐发达，计算机视觉技术逐渐朝着微观领域发展，显微镜由于其高放大倍率、变焦范围广等特点，在微小物体的测量和重构过程中被广泛使用。和标准光学镜头不同的是，显微镜具有很高的放大倍率和很短的景深，当物体表面和镜头或成像面角度过大时，就会出现相机失焦，图像模糊的情况。因为大部分主流的相机标定算法需要从不同角度拍摄物体或需要标定物和镜头有较大夹角以获取更多的几何信息，所以这些方法都不再适用于景深小的显微系统。针对这种情况，学者们在传统标定技术的基础上设计了一系列标定方法，但是这些方法主要分为两类，第一类是使用焦距固定的显微镜，在内参不变的情况下，通过改变标定板位置，计算出系统的外部参数；第二种是将高斯成像定理和针孔模型结合，在近似平行的情况下线性解出系统的所有参数。第一类方法不适用于目前广泛使用的无级变焦显微镜，第二种方法因为用到高斯成像模型，为了计算出系统内外参数，必须知道物距、像距和焦距三者中任意一个量的值，这也给标定带来了很大的局限性。上述两类方法都没有提供一个不依赖于已知条件，并能够标定出所有参数的标定方案。

发明内容

为了解决现有技术的问题，本发明提供一种在显微镜物理焦距未知的情况下，利用相机拍摄到的不失焦的标定板图片计算出系统放大率，并利用放大率计算出系统内外参数的基于放大率的近似平行状态下显微成像系统的标定方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于放大率的近似平行状态下显微成像系统的标定方法，该标定方法包括以下步骤：

(1)将标定板水平放置在显微镜载物台上，打开相机拍摄标定板图像，提取出标定板图像上标定点的坐标；

(2)简化旋转矩阵后代入针孔模型中，求解得到平移向量t_x和t_y；

(3)根据相机坐标系到相机成像面的射影变换关系，求出相机主点坐标；

(4)结合高斯成像模型，以最小化重投影误差为目标，计算放大率m；

(5)使用放大倍数法测出显微镜的物理焦距F，将物距t_z、像距f以及放大率m与高斯成像公式

结合，计算出像距t_z和像距f；

(6)利用求出的物距t_z和像距f建立无旋转的虚拟坐标系和虚拟标定板，通过虚拟标定板的图像坐标和真实标定板的图像坐标之间的数值关系，求解出真实标定板和相机坐标系之间的旋转矩阵；

(7)根据图像畸变模型求解显微成像系统的畸变参数；

(8)使用L-M算法对求解出的t_x、t_y、t_z、f、旋转矩阵以及畸变系数进行参数优化，完成系统标定。

作为本发明的进一步技术方案，所述步骤(1)具体为：

(11)将标定板水平放置在显微镜载物台上，打开相机拍摄标定板图像；

(12)对标定板图像进行二值化处理；

(13)若二值化处理后的标定板图像中的某一像素点处于二值化处理后的标定板图像的黑白区域分界处且其连通域内至少有一个像素点处于黑白区域分界处，则该像素点为标定点图像边缘；

(14)在二值化处理后的标定板图像中提取出所有标定点图像边缘；

(15)根据提取的标定点图像边缘坐标，采用最小二乘法拟合椭圆，椭圆几何中心的坐标即为标定点的图像坐标。

作为本发明的进一步技术方案，所述步骤(2)具体为：

(21)令

和

旋转矩阵简化为：

其中α、β和γ分别代表标定板在绕世界坐标系中X、Y和Z轴旋转的角度；

(22)以标定板上某一标定点为世界坐标系原点，根据标定点圆心之间的距离得到各标定点的世界坐标[x_w，y_w，z_w]，将简化后的旋转矩阵代入到针孔模型，得到世界坐标和图像坐标的方程

其中，[x_d，y_d]代表标定点的世界坐标和图像坐标，

t_x、t_y分别代表世界坐标系X轴、Y轴方向上的平移向量；

(23)通过最小二乘法求解方程得到

之后，通过

得到t_x和t_y的值。

作为本发明的进一步技术方案，步骤(3)具体为：将标定点的图像坐标和标定点的世界坐标一一对应，代入公式

通过过最小二乘法解出相机主点的图像坐标[C_x，C_y]，其中(x_p，y_p)代表标定点的像素坐标，d_x和d_y分别代表像素的宽和高的倒数。

作为本发明的进一步技术方案，步骤(4)中，放大率

t_x、t_y分别代表世界坐标系X轴、Y轴方向上的平移向量，d_x和d_y分别代表像素的宽和高的倒数。

作为本发明的进一步技术方案，所述步骤(6)具体为：

(61)根据针孔模型中相机坐标系和世界坐标之间的射影几何关系，利用计算出的物距t_z和像距f，建立起相对于真实世界坐标系旋转角为0的虚拟世界坐标系；

(62)在虚拟世界坐标系上，根据标定板上标定点的间距，建立虚拟标定板；

(63)根据针孔模型，在γ＝0的情况下，计算出虚拟标定板上[0，0，0]、[1，0，0]和[0，1，0]的齐次图像坐标值，计算公式分别为：

和

其中f_x＝f·d_x，f_y＝f·d_y；

(64)根据[0，0，0]、[1，0，0]和[0，1，0]的实际图像坐标为

和

计算出

和

(65)利用

和

计算出cosβ和cosα的值，从而得到β和α的值；

(66)根据[0，0，0]、[1，0，0]的实际图像和[1，0，0]虚拟图像之间的夹角，利用余弦定理计算出γ的值。

作为本发明的进一步技术方案，所述步骤(8)中的优化目标函数为

其中p_i代表真实图像点坐标，

代表通过需优化参数计算出的图像点坐标，

代表p_i到

的欧式距离。

有益效果

本发明通过在标定板处于近似平行状态下拍摄到的图片，提取出标定点图像坐标，将高斯成像定理(Gasuss Lens Law)和针孔模型结合，建立了系统放大率的二元函数，通过求导精确估计出了系统的放大率。使用放大倍数法测量出系统的物理焦距，讲求出的系统物理焦距和放大倍率结合计算出系统的f和t_z。通过计算出的f和t_z建立起虚拟世界坐标系，通过虚拟世界坐标系上虚拟标定板的图像坐标和实际标定板的图像坐标之间的数值关系，计算出了系统的旋转参数。利用导数求出的系统放大率准确且计算简单，通过虚拟标定点图像和真实标定点图像之间数值关系计算出的旋转角稳定精确，改善了传统方法中旋转角初值受系统物理焦距数值影响的缺点。使用放大倍数法求出的系统物理焦距精确且方法简单，克服了传统方法中需要预知物理焦距才能标定系统的缺点。本方法针对物理焦距的标定、放大率的计算以及系统旋转角的分别提出了改进，使用本方法标定出的显微成像系统在三维重构实验中取得了较好的效果。

附图说明

图1是本发明的方法流程图；

图2是放大倍数法测焦距示意图；

图3是经R(α)和R(β)变换后的虚拟世界坐标系；

图4是显微镜低倍下物体三维重构效果，其中，(a)是显微镜7.5倍下物体图像；(b)是重构点云正视图；(c)是重构点云侧视图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明在Windows操作系统下选用visual studio作为编程工具，程序使用C++编写，显微成像系统由Basler acA-160020um工业相机和Leica M60体视显微镜组成，标定点间距为0.1mm，放大倍数为任意未知值。首先拍摄标定板图片，通过本方法对系统进行标定；标定结束后，使用标定好的系统对物体进行三维重构实验，被重构物体为人名币5角硬币。重构点云较好的还原了被测物体尺寸和表面形貌特征，证实本专利提出的标定方法的有效性。

如图1所示，本发明的基于放大率的近似平行状态下显微成像系统的标定方法的具体标定步骤如下：

步骤1：通过显微镜获取标定板在近似平行状态下的图像，提取出标定板图像上标定点的坐标。

步骤1.1：将标定板水平放置在显微镜载物台上，使标定板和显微镜物镜之间的夹角尽量小，打开相机拍摄图片；

步骤1.2：经过二值化，标定板图片分成黑白两个区域，如果一个像素点处于黑白区域的分界处，且其连通域内至少有一个像素点处于黑白分界处，则认为此像素点为标定点图像边缘，提取出所有边缘；

步骤1.3：将提取出的边缘像素坐标，结合椭圆基本方程Ax²+Bxy+Cy²+Dx+Ey+1＝0，使用最小二乘法解出各项系数，结合椭圆中心表达式

求出椭圆中心坐标。

步骤2：在近似标定板和物镜之间夹角很小的情况下，标定板所处的世界坐标系相对与相机坐标系的旋转角α和β接近于0，根据三角函数的数值特性，可以令

(θ代表旋转角α和β)，此时旋转矩阵被简化为：

将简化后的旋转矩阵代入到针孔模型中，可以得到世界坐标和图像坐标的方程：：

其中[x_w，y_w，z_w]和[x_d，y_d]分别代表标定点的世界坐标和图像坐标，

其中t_x、t_y代表平移向量，γ代表标定板在绕世界坐标系中Z轴旋转的角度，通过最小二乘法解出

之后，通过

可以解出t_x和t_y的值。

步骤3：将计算出的标定点图像像素坐标和标定点的世界坐标一一对应起来，代入

通过最小二乘法解出相机主点的图像坐标[C_x，C_y]。

步骤4：令放大率为m，在高斯成像模型中，物距、像距和物理焦距三者的关系可以表示为：

将用F代换掉针孔模型中的f和t_z，通过计算得到世界坐标系原点的图像坐标

得到图像坐标和实际图像坐标之间的欧式距离表达式：

其中[x_p，y_p]代表世界坐标系原点的实际图像坐标。该表达式的值在m为精确值的情况下应该为0，所以能够使

最小的m值是对真实值的一个精确估计，对H(m)进行求导，求出片(m)的最小值坐标。

步骤5：如图2所示，凸透镜l₁和l₂的物理焦距分别为F₁和F₂。光源H被安放在l₁的前焦面位置处。从光源射出的发散光通过l₁，并且被折射成一束平行光。接着，这束平行光经过l₂的折射会聚到像h处，且h位于l₂的后焦面。y和y′分别是主动光源和其像的长度。F₁和y采用已知参数的设备，显微镜被简化成凸透镜l₂。根据相似三角形定理，l₂的焦距可以通过式

计算得出，利用求出的显微镜物理焦距，结合高斯成像模型可以求解出f和t_z。

步骤6：利用求出的物距t_z和像距f建立无旋转的虚拟坐标系和虚拟标定板，通过虚拟标定板的图像坐标和真实标定板的图像坐标之间的数值关系，求解出旋转角的值。

步骤6.1：根据针孔模型中相机坐标系和世界坐标之间的射影几何关系，利用计算出的物距t_z和像距f，建立起相对于真实坐标系的、旋转角为0的虚拟世界坐标系，在虚拟世界坐标系上，根据标定板上标定点间距，建立虚拟标定板。

步骤6.2：根据针孔模型，在γ＝0的情况下，计算出虚拟标定板上[0，0，0]、[1，0，0]和[0，1，0]的齐次图像坐标值，计算公式分别为：

和

其中f_x和f_v分别代表以像素的宽度和高度为计量单位的f的数值；

步骤6.3：[0，0，0]、[1，0，0]和[0，1，0]的实际图像坐标可以被表示为

和

根据虚拟世界坐标上[0，0，0]、[1，0，0]和[0，1，0]的图像坐标和真实世界坐标系中这三个点的图像坐标之间的数值关系，计算出

和

的值，由此计算出β和α的值。

步骤6.4：将旋转角β和α角作用于使虚拟坐标系，可以得到图3，其中真实世界坐标系用浅灰色虚线标出，点A和B分别代表真实世界坐标系和虚拟世界坐标中的点[1，0，0]，a和b是A和B在成像平面上的像点。利用图像坐标a、o′和b，根据三角函数定理计算出γ的值。

步骤7：理想点和畸变点之间的数学关系为

其中[x_p，y_p]和[x_p′，y_p′]分别代表理想图像像素坐标和畸变后的图像像素坐标，k₁，k₂代表畸变系数，畸变系数可以通过将足够多的标定点图像坐标代入上式，利用最小二乘法解出。

步骤8：使用L-M算法(Levenberg-Marquardt Algorithm)对所有参数进行优化，计算公式为

其中

代表实际图像点到重投影计算点的欧式距离。

对本实施例进行效果验证：仿真实验参数如表1所示，标定出的各项参数如表2所示，可以看出本算法的计算精度很高，重投影误差达到了亚像素精度。真实实验中，相机的成像芯片尺寸为1236×1628，显微镜处于低放大倍数，此时使用标定点圆心距为0.1mm的标定板，通过显微镜拍摄标定板在近似平行状态下的图片，对系统进行标定。利用标定好的显微系统对人民币5角硬币上的汉字“角”进行重构，重构效果如图4所示，其中图4中的(a)是物体原图，图4中的(b)、(c)分别是重构点云的正视图和侧视图。可以发现，使用本方法标定出的显微三维重构系统能够精确的还原物体的微观形貌和尺寸信息。

表1仿真实验参数

F(mm)	80	100	75	70	110	120
							α(°)	9	-13	-6	14	8	15
β(°)	-12	10	13	14	-11	9
							γ(°)	6	5	7	11	9	12
t<sub>x</sub>(mm)	2	-3.4	-4.1	0.3	1.7	-1
							t<sub>x</sub>(mm)	1.5	2	2.3	1.6	-0.4	1.8
t<sub>x</sub>(mm)	96	140	90	105	198	192
							f(mm)	480	350	450	210	247.5	320
C<sub>x</sub>(mm)	1200	1200	1200	1200	1200	1200
							C<sub>y</sub>(mm)	800	800	800	800	800	800
k<sub>1</sub>(10<sup>-4</sup>)	1.0	1.0	1.0	1.0	1.0	1.0
							σ(pixel)	0.4	0.4	0.3	0.2	0.4	0.5

表2标定结果

F(mm)	80	100	75	70	110	120
							α(°)	9.0057	-13.0815	-5.9962	13.8898	7.7847	15.2255
β(°)	-12.0038	9.8541	13.0069	13.7694	-10.9318	9.0803
							γ(°)	5.9749	5.0031	7.0101	11.0245	9.0487	12.007
t<sub>x</sub>(mm)	2.0034	-3.4013	-4.0905	0.3012	1.7019	-0.9992
							t<sub>y</sub>(mm)	1.5027	2.0064	2.2938	1.6036	-0.4003	1.7975
t<sub>z</sub>(mm)	96.1187	140.4669	89.8078	105.0704	198.0997	191.9001
							f(mm)	479.8525	350.9677	450.1432	209.7204	247.346	320.2602
C<sub>x</sub>(mm)	1199.9795	1200.0638	1199.8270	1199.9670	1200.2186	1199.8272
							C<sub>y</sub>(mm)	799.9517	800.0625	799.9939	800.1255	800.2218	800.0154
k<sub>1</sub>(10<sup>-4</sup>)	1.0023	1.0158	1.02337	0.9879	0.9991	0.9996
							σ(pixel)	0.4	0.4	0.3	0.2	0.4	0.5
error(pixel)	0.2863	0.14	0.4106	0.1777	0.0439	0.0602

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。