CN117115272A - 用于降水粒子多角度成像的远心相机标定和三维重构方法 - Google Patents

Abstract

本发明涉及用于降水粒子多角度成像的远心相机标定和三维重构方法，包括：建立远心相机坐标系到图像坐标系转换关系，并结合世界坐标系到相机坐标系以及图像坐标系到像素坐标系的转换，综合建立世界坐标系到图像坐标系的转换模型，根据转换模型，获取远心相机的投影矩阵；标定远心相机，求解投影矩阵，获取标定后的投影矩阵；基于标定后的投影矩阵进行三维重建，重构降水粒子的三维形状。本发明采用可视外壳算法对粒子形状进行了三维重构，有效地测量出固态降水粒子非球形形状。

Description

用于降水粒子多角度成像的远心相机标定和三维重构方法

技术领域

本发明涉及降水粒子立体成像测量技术领域，特别是涉及用于降水粒子多角度成像的远心相机标定和三维重构方法。

背景技术

雨滴、雪花、冰雹、霰等不同相态降水粒子具有不同的尺度、形状和取向特征，现有的雨滴谱仪只能获取降水粒子在某个角度的剖面信息，这适用于旋转对称的雨滴，但是无法有效揭示非球形固态降水粒子的三维特征。而实际上，这些三维微物理特征是数值模式参数化方案、雷达定量估计降水、电磁波散射与衰减计算等领域的基本参数，目前缺乏非球形固态降水粒子的准确输入信息。

利用多角度立体成像获取多角度图像并进行三维重构，是目前获取物体三维结构信息的主要手段，这其中，相机标定和三维重建是关键环节。不同于传统的仪器标定，相机标定是寻找三维空间点与二维图像点之间的对应关系，即求解相机的内外参数，这是三维重构的前提和基础。远心镜头可以消除常规镜头存在的透视误差和景深效应，实现降水粒子在大采样空间内的无景深清晰成像，但是传统的针孔单目相机标定方法不再适用，因此需要研究适用于远心相机的标定方法，并在此基础上开展适用于降水粒子特征的三维重构。

发明内容

本发明的目的是提供了用于降水粒子多角度成像的远心相机标定和三维重构方法，采用可视外壳算法对粒子形状进行了三维重构，有效地测量出固态降水粒子非球形形状。

为实现上述目的，本发明提供了如下方案：

用于降水粒子多角度成像的远心相机标定和三维重构方法，包括：

建立远心相机坐标系到图像坐标系转换关系，并结合世界坐标系到相机坐标系以及图像坐标系到像素坐标系的转换，综合建立世界坐标系到图像坐标系的转换模型，根据所述转换模型，获取远心相机的投影矩阵；

标定远心相机，求解所述投影矩阵，获取标定后的所述投影矩阵；

基于标定后的所述投影矩阵进行三维重建，重构降水粒子的三维形状。

可选地，建立所述远心相机坐标系到所述图像坐标系转换关系的方法为：

其中，β为远心相机的远心物镜的放大率，和/>分别表示二维图像坐标系和三维相机坐标系的齐次形式，(x，y)为图像坐标系下点坐标，单位是毫米；(X_c，Y_c，Z_c)为相机坐标系下的点的三维坐标。

可选地，建立所述世界坐标系到所述相机坐标系以及所述图像坐标系到像素坐标系的转换的方法为：

其中，为相机内部参数，/>为相机外部参数，表示相机的位姿，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率，S_u、S_v为像元长和宽尺寸，(u，v)为像素坐标系下点的坐标；(u_o，v₀)为主点坐标，即摄像机成像平面与相机光轴的交点坐标，单位为像素；(X_w，Y_w，Z_w)为世界坐标系下点坐标，单位为毫米。

可选地，获取远心相机的投影矩阵的方法为：

其中，为相机内部参数，/>为相机外部参数，表示相机的位姿，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率。

可选地，获取标定后的所述投影矩阵包括：

拍摄棋盘格，获取每个角点的世界坐标和图像中的像素坐标，构建超定线性模型，根据所述超定线性模型，获取最优投影矩阵的第一最佳估计值，即标定后的所述投影矩阵。

可选地，获取标定后的所述投影矩阵后包括：

获取所述远心相机的部分内部参数，设置所述远心相机成像平面与所述远心相机光轴的交点为主点坐标，且位于图像的中心处；所述部分内部参数包括：图像分辨率、像元尺寸和放大倍率；

根据所述第一最佳估计值，获取从世界坐标系到相机坐标系的旋转过程和平移过程的第二最佳估计值，进一步获取远心相机的全部估计内外参数。

可选地，设置所述远心相机成像平面与所述远心相机光轴的交点为主点坐标后包括：

判断所述主点坐标是否位于图像的中心处，若所述主点坐标未在图像的中心处，则进行多次远心相机标定，拍摄不同位姿的棋盘，利用L-M算法，获取每个所述主点坐标的第三最佳估计值，根据所述第三最佳估计值，消除主点偏差若所述主点坐标在图像的中心处，则不做任何处理。

可选地，获取所述第二最佳估计值后包括：

获取所述远心相机的位置及角度，根据所述远心相机的位置及角度以及所述全部估计内外参数，将每个远心相机的外部参数进行关联，并获取每个远心相机的投影矩阵。

可选地，获取所述第一最佳估计值的方法为：

KM_LS＝U_iW_i ^T(W_iW_i ^T)^-1

其中，U_i为i个点像素下的坐标；W_i为i个点世界坐标系下的坐标，KM_LS为投影矩阵的估计的最优解，T表示转置。

可选地，重构所述降水粒子的三维形状包括：

选择三维坐标空间区域，构建100×100×100的体素网格点云，基于获取的每个远心相机的投影矩阵，将点云投影到图像轮廓标记投影到图像轮廓的点云，形成反向投影视锥，并保留视锥相交区域；

对所述视锥相交区域采用三角剖分算法绘制所述降水粒子的表面外壳，重构所述降水粒子，获得所述降水粒子的三维形状。

本发明的有益效果为：

与现有技术相比，本发明利用若干个位置固定的远心相机，结合远心相机已知的出厂参数，即可准确估计得到远心相机的内部参数和外部参数，基于这些参数还可以准确重建得到降水粒子的三维形状，消除了由于透视带来的图像畸变和重建误差，准确度高，操作简单，便于推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的用于降水粒子多角度成像的远心相机标定和三维重构方法流程图；

图2为本发明实施例的实际拍摄图像的世界坐标系和识别的棋盘格角点示意图；其中，图2(a)为获取实际拍摄图像的世界坐标系示意图，图2(b)为识别的棋盘格角点示意图；

图3为本发明实施例的粒子三维重构的实例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明公开了用于降水粒子多角度成像的远心相机标定和三维重构方法，包括：

建立远心相机坐标系到图像坐标系转换关系，并结合针孔相机成像的世界坐标系到相机坐标系以及图像坐标系到像素坐标系的转换，进一步综合建立世界坐标系到图像坐标系转换的模型；

标定远心相机，求解投影矩阵，获取标定后的投影矩阵；

基于标定后的投影矩阵进行三维重建，重构降水粒子的三维形状，具体为：

将针孔相机坐标系到图像坐标系的透视投影模型改为平行投影模型，确定世界坐标系到相机坐标系转换的投影矩阵，建立单个远心相机成像的数学几何模型；

分别用不同角度的远心相机来拍摄某一固定角度的棋盘格，提取图像中每个棋盘格角点像素坐标；

选取棋盘格上某一点作为世界坐标系原点，建立世界坐标系，得到每个点的世界坐标系下的坐标；

根据远心相机数学模型建立方程模型，利用已知每个点的世界坐标系坐标和像素坐标，求解超定线性方程的最优解，即投影矩阵的最佳估计值；

根据远心相机的图像分辨率、单个像元尺寸、放大倍率等部分已知内部参数，假设相机主点位于图像中心，分别粗略估计得到每个远心相机的内部参数和外部参数；

根据不同远心相机之间的夹角，确定若干个远心相机外部参数之间的关系。

利用不同角度的远心相机，拍摄几组不同位姿棋盘格的图像，估计得到每个远心相机的主点偏移量。

将每个相机的投影矩阵输入可视外壳算法，利用反向投影原理进行粒子形状的三维重构。

本发明提出了用于降水粒子多角度成像的远心相机标定和三维重构方法，通过数学推导，结合远心镜头相机成像原理建立远单个远心相机成像的数学几何模型；通过拍摄棋盘格求解方程，估计投影矩阵；在相机内外参矩阵及主点偏移量的基础上，进而三维重构。以三个远心相机标定及重构为例，具体步骤如下：

(1)建立单个远心相机成像的数学几何模型包括：

步骤一：建立远心相机坐标系到图像坐标系转换关系，远心成像原理的特殊性完全体现在该转换关系上，因此这里对此着重说明，该转换关系是世界坐标系坐标到远心相机像素坐标系坐标的转换关系的基础：

其中，β为远心相机的远心物镜的放大率，和/>分别表示二维图像坐标系和三维相机坐标系的齐次形式，(x，y)为图像坐标系下点坐标，单位是毫米；(X_c，Y_c，Z_c)为相机坐标系(坐标原点位于远心镜头中心)下点的三维坐标，单位是毫米。该步骤体现了远心相机镜头平行投影的原理。该步骤体现了远心镜头相机平行投影的原理。

步骤二：建立世界坐标系坐标到远心相机像素坐标系坐标的转换关系：

得到远心相机的投影矩阵：

其中，为相机内部参数，/>为相机外部参数，表示相机的位姿，与相机在世界坐标系内的安装位置和角度有关，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率，S_u、S_v为像元长和宽尺寸，(u，v)为像素坐标系下点的坐标；(u₀，v₀)为主点坐标，即摄像机成像平面与相机光轴的交点坐标，单位为像素；(X_w，Y_w，Z_w)为世界坐标系下点坐标，单位为毫米。其中，/>为相机内部参数，/>为相机外部参数，表示相机的位姿，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率。r和t分别表示从世界坐标系到相机坐标系的旋转和平移过程。相较于普通针孔相机，远心相机外参矩阵第三行的四个量都不存在，即实现平行光投影，物体距离相机镜头的远近并不会影响拍摄图像中物体的大小。

(2)标定远心相机，求解投影矩阵包括：

如图2(a)、图2(b)所示，通过拍摄棋盘格，获得每个角点的世界坐标和图像中的像素坐标，建立超定线性方程，并转化为矩阵乘法形式：

其中，U_i表示相机图像中的像素坐标；KM为相机投影矩阵，是待求量；W_i为世界坐标系下的世界坐标；i为角点个数。利用最小二乘法求出投影矩阵的最优解KM_LS＝U_iW_i ^T(W_iW_i ^T)^-1，其中，U_i为i个点像素下的坐标；W_i为i个点世界坐标系下的坐标，KM_LS为投影矩阵的估计的最优解，T表示转置。

即最优投影矩阵的最佳估计值，根据最优投影矩阵的最佳估计值，结合部分已知内参数，估计远心相机全部的内外参数。

(3)估计远心相机的内外参数包括：

已知仪器出厂的部分内部参数如下：图像分辨率4096×3000，像元尺寸S_u＝S_v＝3.45um，放大倍率为0.0083。假设摄像机成像平面与摄像机光轴的交点即为主点坐标位于图像的中心处。根据(2)中已经求得的投影矩阵的最佳估计值，得到r₁₁，r₁₂，r₂₁，r₂₂，t_x，t_y的最佳估计值，由于棋盘格是二维平面，故Z_wi＝0，因此r₁₃和r₂₃无法求出。进一步建立方程求解：

将解该方程的问题转化成最小二乘问题，利用Levenberg-Marquardt(L-M)算法最小二乘法求解，解得坐标轴三个方向旋转角度α，β，θ。

(4)统一多个远心相机的世界坐标系包括：

得到单个远心相机的内外参数之后，根据三个远心相机的位置及角度，将三个远心相机的外部参数关联起来，即只需求解任意一个远心相机的外部参数，就可以得到另外两个远心相机的外部参数，再根据三个相机的内部参数即可得到三个相机的投影矩阵，简化了后续的标定步骤，具体为：

获取远心相机的位置及角度，根据远心相机的位置及角度以及估计后的远心相机的内外参数，将三个远心相机的外部参数关联起来，即只需求解任意一个远心相机的外部参数，就可以得到另外两个远心相机的外部参数，再根据三个相机的内部参数即可得到三个相机的投影矩阵，简化了后续的标定步骤。

(5)估计远心相机的主点偏移量包括：

远心镜头光轴与图像的交点为主点，一般情况下该点位于图像中心，但由于长期使用略有偏移，不再完全位于中心。以上的步骤全部假设没有偏移。由于短时间内近似不会发生偏移，可以进行多次远心相机标定，拍摄不同位姿的棋盘，利用L-M算法求得每个相机主点坐标的最佳估计值，这样可以消除主点偏差，提升后面三维重构的准确性。

(6)如图3所示，进行降水粒子三维重构包括：

步骤一：根据图像中棋盘格与拍摄粒子的相对位置粗略选择较大范围三维坐标空间区域，构建100×100×100的体素网格点云；

步骤二：利用标定得到的投影矩阵，将点云投影到三个图像轮廓上；

步骤三：分别标记能投影到三张图像轮廓的点云，形成反向投影视锥，并保留三个视锥相交区域；

步骤四：根据三个视锥相交区域所在空间位置，进一步精细化步骤一坐标坐标空间区域的选择；

步骤五：在三个视锥同时相交的区域表面绘制曲面，重构得到可视化外壳，获取降水粒子的三维形状。

以上的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，包括：

建立远心相机坐标系到图像坐标系转换关系，并结合世界坐标系到相机坐标系以及图像坐标系到像素坐标系的转换，综合建立世界坐标系到图像坐标系的转换模型，根据所述转换模型，获取远心相机的投影矩阵；

标定远心相机，求解所述投影矩阵，获取标定后的所述投影矩阵；

基于标定后的所述投影矩阵进行三维重建，重构降水粒子的三维形状。

2.根据权利要求1所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，建立所述远心相机坐标系到所述图像坐标系转换关系的方法为：

其中，β为远心相机的远心物镜的放大率，和/>分别表示二维图像坐标系和三维相机坐标系的齐次形式，(x，y)为图像坐标系下点坐标，单位是毫米；(X_c，Y_c，Z_c)为相机坐标系下的点的三维坐标。

3.根据权利要求1所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，建立所述世界坐标系到所述相机坐标系以及所述图像坐标系到像素坐标系的转换的方法为：

其中，为相机内部参数，/>为相机外部参数，表示相机的位姿，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率,S_u、S_v为像元长和宽尺寸，(u，v)为像素坐标系下点的坐标；(u₀，v₀)为主点坐标，即摄像机成像平面与相机光轴的交点坐标，单位为像素；(X_w，Y_w，Z_w)为世界坐标系下点坐标，单位为毫米。

4.根据权利要求1所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，获取远心相机的投影矩阵的方法为：

其中，为相机内部参数，/>为相机外部参数，表示相机的位姿，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃均为从世界坐标系到相机坐标系的旋转过程，t_x、t_y、t_z均为从世界坐标系到相机坐标系的平移过程，β为远心相机的远心物镜的放大率。

5.根据权利要求1所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，获取标定后的所述投影矩阵包括：

拍摄棋盘格，获取每个角点的世界坐标和图像中的像素坐标，构建超定线性模型，根据所述超定线性模型，获取最优投影矩阵的第一最佳估计值，即标定后的所述投影矩阵。

6.根据权利要求5所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，获取标定后的所述投影矩阵后包括：

获取所述远心相机的部分内部参数，设置所述远心相机成像平面与所述远心相机光轴的交点为主点坐标，且位于图像的中心处；所述部分内部参数包括：图像分辨率、像元尺寸和放大倍率；

根据所述第一最佳估计值，获取从世界坐标系到相机坐标系的旋转过程和平移过程的第二最佳估计值，进一步获取远心相机的全部估计内外参数。

7.根据权利要求6所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，设置所述远心相机成像平面与所述远心相机光轴的交点为主点坐标后包括：

判断所述主点坐标是否位于图像的中心处，若所述主点坐标未在图像的中心处，则进行多次远心相机标定，拍摄不同位姿的棋盘，利用L-M算法，获取每个所述主点坐标的第三最佳估计值，根据所述第三最佳估计值，消除主点偏差若所述主点坐标在图像的中心处，则不做任何处理。

8.根据权利要求6所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，获取所述第二最佳估计值后包括：

获取所述远心相机的位置及角度，根据所述远心相机的位置及角度以及所述全部估计内外参数，将每个远心相机的外部参数进行关联，并获取每个远心相机的投影矩阵。

9.根据权利要求5所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，获取所述第一最佳估计值的方法为：

KM_LS＝U_iW_i ^T(W_iW_i ^T)^-1

其中，U_i为i个点像素下的坐标；W_i为i个点世界坐标系下的坐标，KM_LS为投影矩阵的估计的最优解，T表示转置。

10.根据权利要求8所述的用于降水粒子多角度成像的远心相机标定和三维重构方法，其特征在于，重构所述降水粒子的三维形状包括：

选择三维坐标空间区域，构建100×100×100的体素网格点云，基于获取的每个远心相机的投影矩阵，将点云投影到图像轮廓标记投影到图像轮廓的点云，形成反向投影视锥，并保留视锥相交区域；

对所述视锥相交区域采用三角剖分算法绘制所述降水粒子的表面外壳，重构所述降水粒子，获得所述降水粒子的三维形状。