CN113962853B - 一种旋转线阵扫描图像位姿自动化精密解算方法 - Google Patents

Abstract

本发明提出一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法。该方法首先假设线阵旋转扫描相机在理想安置条件下采集图像，通过正切投影将其投影到正切平面上，生成与旋转扫描图像具有相同内外参的等效框幅图像。而后根据该图像进行多视运动结构恢复，求得图像位姿和场景路标点的高可靠性初值。最后根据旋转扫描成像严密成像模型，将上述等效框幅图像的位姿参数和路标点坐标作为光束法平差的初值，迭代优化求解得到旋转扫描线阵图像的精确位姿参数。

Description

一种旋转线阵扫描图像位姿自动化精密解算方法

技术领域

本发明涉及图像几何处理和三维重建领域，尤其涉及旋转线阵扫描图像的成像模型和位姿自动化精密解算方法。

背景技术

线阵扫描成像模式的高光谱成像仪，以其良好的空间-光谱一致性、最佳的空间-光谱分辨率以及与各种成像平台(无人机、有人机、卫星等)良好的配合特性，是目前主流的高光谱相机成像方式。该类相机一次曝光只能获取一条扫描线图像，为了获取连续的场景图像，通常将相机固定于旋转云台上，通过云台带动相机进行匀速圆周运动获取实现另一维空间数据的采集。

对于整景线阵扫描采集的高光谱图像来说，其成像是不符合小孔成像模型的，无法通过根据现有的射影几何理论恢复图像的内外方位元素。现有研究以相机做近似匀速圆周运动为基本假设，构建了考虑相机内参、相机安置参数和转台运动参数的旋转扫描线阵相机严密成像模型。

但是该模型形式较为复杂，无法直接利用该模型求得图像间相对位置关系的解析解，需要使用最优化估计方法(如Levenberg-Marquardt方法)进行迭代优化，最终求得所有参数的最小二乘解。在此算法中，参数初值的准确性对结果正确性有极大影响，一个良好的参数初值可以使得算法快速收敛到最优解，而不佳的初值则会导致算法收敛缓慢、收敛到局部最优解甚至无法收敛。

发明内容

针对上述问题，本发明提出了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法。该方法生成与原始旋转扫描线阵图像具有相同内外参的等效框幅图像，并通过自动化运动结构恢复算法计算等效框幅图像的位姿参数，最后使用该位姿参数作为迭代优化求解初值，计算得到最终的线阵图像精确成像位姿和路标点三维坐标。

根据本发明实施例的一个方面，提供了一种旋转扫描线阵图像位姿自动化精密计算方法，包括获取旋转扫描线阵图像采集参数和相机内参；根据上述参数通过正投影变换将旋转扫描线阵图像投影到其正切平面上，生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像，并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；使用运动结构恢复方法，自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标；以等效框幅图像的位姿参数作为初值，使用最优化估计方法，求得旋转扫描线阵图像的精确成像参数。

根据本发明实施例的一个方面，提出了一种等效框幅投影变换模型，能够根据相机俯仰角、相邻扫描线夹角、相机焦距、像主点坐标四项参数，将旋转扫描图像投影到其正切平面上；此外为了生成等效框幅图像，使用如下流程进行逆投影变换计算：首先计算正切平面上点与投影中心连线的为第一向量，然后根据第一向量，计算该点所在扫描线相对于中心扫描线旋转角度，进而计算逆投影点所在扫描线坐标；然后计算该点所在扫描线的主光轴方向为第二向量；最后计算第一向量和第二向量的夹角，即为像点与主光轴的夹角，进而计算逆投影点纵坐标。

根据本发明实施例的另一个方面，根据等效框幅投影变换模型，可以根据场景中一条直线在图像上的投影曲线，计算得到相机俯仰角，具体流程为：选择场景中一条非平行于扫描线的直线在旋转扫描图像上的投影曲线；在该投影曲线上选择3个点；根据等效框幅投影公式将该三个点投影到等效框幅图像上，根据等效框幅图像上三个投影点在同一直线上的约束，求解得到相机俯仰角。

本发明采用的技术方案为一种旋转线阵扫描图像位姿自动化精密解算方法，包括如下步骤：

步骤S101，获取旋转扫描线阵图像采集参数和相机内参；

步骤S102，根据相机内参和步骤S101所述图像采集参数，通过正投影变换将旋转扫描线阵图像投影到其正切平面上，生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像，并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；

步骤S103，使用运动结构恢复方法，自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标；

步骤S104，以等效框幅图像的位姿参数作为初值，使用最优化估计方法，求得旋转扫描线阵图像的精确成像参数。

进一步的，步骤S101所述旋转扫描线阵图像采集参数包括：相机安置俯仰角，相邻扫描线夹角，或者等价的相机旋转速度与曝光时间参数计算得到相邻扫描线夹角；

其中相邻扫描线夹角参数a_x可以根据转台速度ω的曝光时间t计算获得：a_x＝ωt，为了保证扫描线阵图像不发生压缩或者拉伸形变，相邻扫描线夹角设定为与相机的瞬时视场角相同，该参数是旋转扫描线阵相机成像的必须参数，可以从成像设定记录或者图像文件的元数据中获取；

相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角，也等价于扫描线与转轴的夹角。

进一步的，步骤S101所述相机内参包括镜头焦距和像主点坐标，以及镜头径向畸变和切向畸变参数；

其中镜头焦距为使用像素为单位进行表达，根据镜头焦距和成像单元大小直接计算，或使用相机标定方法获得；

像主点坐标是相机主光轴与成像平面交点的图像坐标，由于线阵相机只有一条扫描线，因此横坐标恒为0，纵坐标同样通过相机标定获得，或者使用中心像素坐标作为近似值；

镜头畸变参数采用Brown模型，使用包含径向畸变和切向畸变两部分，两者均只考虑2阶参数情况，对于无标定参数相机，使用0作畸变参数初值。

进一步的，步骤S102所述正切平面与旋转扫描线阵图像成像平面相切于中心扫描线，将旋转扫描线阵图像投影到其正切平面上的具体实现方式如下；

对于旋转扫描成像平面上某点p_r，其图像坐标为(x_r,y_r)，其所在扫描线相对于中心扫描线的旋转角度为ω，该点入射光线相对于该点所在扫描线主光轴夹角为γ，两者计算公式为：

其中

为中心扫描线横坐标，

为旋转扫描线阵图像像主点纵坐标；

根据投影关系，p_r点入射光线与等效框幅成像平面的交点p_f在等效框幅图像坐标系下的坐标可以通过如下公式计算获得：

上式中(x_f，y_f)为等效框幅图像坐标，φ_c为相机安置俯仰角、a_x为相邻扫描线夹角、

为旋转扫描线阵图像的像主点坐标，f为镜头焦距。

进一步的，相机安置俯仰角φ_c通过如下方式获得；

(a)选择场景中一条直线在旋转扫描图像上的投影曲线，该投影曲线不平行于扫描线；

(b)在该投影曲线上选择3个点，这三个点间线段的夹角小于180°，不是一条直线；

(c)根据等效框幅投影公式

将上述三个点投影到等效框幅图像上；

(d)根据等效框幅图像上三个投影点在同一直线上的约束，求解得到相机安置俯仰角。

进一步的，步骤S102中逆投影变换的总体流程如下；

(1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上；

(2)根据四个角点投影后坐标范围，即最左、最右像素横坐标和最上、最下像素纵坐标，确定等效框幅图像的长宽，并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标；

(3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；

(4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。

进一步的，步骤S102中通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标，其具体实现方式如下；

对于总计有m条扫描线的旋转扫描线阵图像，其中心扫描线坐标为m/2，中心扫描线记为直线AB，该中心扫描线对应的主光轴为OC，则存在关系

1)计算正切平面上点p_f与对应投影中心O连线

的向量表达式v1；

具体的，首先分别计算向量

和

的表达式：

根据上述两式可以计算

2)根据上述向量，计算点p_f所在的扫描线与中心扫描线旋转角度ω，进而计算扫描线坐标x_r；

具体的，计算

并据此得到

所在平面相对于中心扫描线视平面的转角ω：

而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标：

3)计算点p_f所在扫描线的主光轴向量表达式v2；

点p_f所在扫描线的主光轴即向量

绕转轴旋转ω角度后的向量，其表达式为：

v2＝[fcosφ_csinω，fsinφ_c，fcosφ_ccosω]

4)计算v1和v2的夹角，即为像点与主光轴的夹角γ，进而计算扫描线纵坐标y_r；

具体的，根据上述v1和v2的表达式，可以根据向量点乘计算公式，得到p_f与其所在扫描线主光轴夹角γ：

最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标：

进一步的，步骤S103的具体实现方式如下；

对于旋转扫描线阵图像，首先使用特征点自动探测和匹配方法，或者人工选点的方法，确定图像间的同名点对应关系，而后将所有图像同名点坐标投影到对应的等效框幅图像上，最后使用现有的运动结构恢复方法，增量式SFM或者全局SFM方法，或者自动化三维重建软件，将等效框幅图像的焦距和像主点坐标作为已知参数，不进行优化的条件下，恢复等效框幅图像的位姿参数以及同名点对应的路标点三维坐标，其中位姿参数包括图像投影中心的三维坐标和成像姿态。

进一步的，步骤S104的具体实现方式如下；

以任意给定直角坐标系为世界坐标系，其坐标值为(X_w，Y_w，Z_w)；以转台旋转轴为y轴，起始扫描线对应主光轴为z轴，构建右手直角坐标系为传感器坐标系，其坐标值表示为(X_s，Y_s，Z_s)；以某一时刻主光轴为z轴，旋转轴为y轴构建右手直角坐标系X_tY_tZ_t为转台坐标系；以线阵相机投影中心为原点，主光轴为z轴，y轴平行于扫描线，构建右手直角坐标系X_cY_cZ_c为相机坐标系，以图像成像二维平面左上为原点，扫描线为y轴构建二维平面坐标系uv为图像坐标系，则可以使用如下公轴式描述从世界坐标系到图像坐标系的变换，也就是旋转扫描线阵相机的严密成像模型：

其中R_T→C为相机安置矩阵，描述相机安置姿态；[e_x，e_y，e_z]^T为相机坐标系偏移向量，描述相机安置的偏心情况，为了方便表述，定义转台坐标系原点为相机坐标系原点在转台坐标系y轴上的投影，因此有e_y＝0；R_S→T为转台旋转矩阵，描述转台转动角度，使用单一角度参数计算生成；R_W→S和[X₀，Y₀，Z₀]^T为世界坐标系到传感器坐标系的旋转矩阵和平移向量；s为尺度参数；v为投影点图像纵坐标；f_y为y轴方向镜头焦距值，f_x为x轴方向镜头焦距值，

为相机的像主点坐标，对于旋转扫描线阵相机而言，投影点横坐标恒为0，因此

而f_x取值并不影响最终投影点位置，因此不属于成像模型参数；

R_T→C可以通过相机的三个姿态角，包括俯仰角φ_c、航偏角ω_c、滚动角κ_c，对应的旋转矩阵相乘获得，具体计算公式如下：

其中，a₁₁，…，a₃₃是旋转矩阵的参数；

R_S→T为转台旋转矩阵，由于旋转扫描成像转台沿y轴旋转，因此该矩阵使用单一角度参数θ计算生成，其计算公式为：

R_W→S为世界坐标系到传感器坐标系的旋转矩阵，同样使用三个姿态角(φ_s，ω_s，K_s)计算获得，计算公式为：

综上旋转扫描线阵相机严密成像模型总共包含14个参数，即旋转扫描线阵图像的精确成像参数，其中：

相机内参2项：f_y和

转台参数6项：θ，(φ_c，ω_c，κ_c)，e_x，e_z；

成像系统外参6项：(φ_s，ω_s，κ_s)和[X₀，Y₀，Z₀]。

经过整理，上述严密成像模型可以表示为：

其中

计算公式如下：

这样可以求解得到投影点图像坐标的解析表达式为：

其中：

与现有技术相比，本发明的优点和有益效果如下：

本发明提出了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法，解决了旋转扫描线阵成像模型由于高度复杂和非线性化，在无良好的相机位姿参数初值的情况下，难以使用迭代优化算法求解精确定姿定位参数的问题，实现了无需外部设备测量的图像位姿参数条件下，自动化高精度旋转线阵扫描图像位姿恢复，为使用旋转扫描线阵图像进行三维重建提供了基础。

附图说明

图1是本发明实施例的基于等效框幅图像的多视旋转线阵图像位姿精密解算方法流程图。

图2是本发明实施例的线阵相机安置与俯仰角示意图。

图3是本发明实施例的旋转扫描线阵相机等效框幅成像模型示意图。

图4是本发明实施例的线阵相机严密成像模型。

图5是本发明实施例的根据场景中直线估算旋转扫描线阵图像安置俯仰角示意图。

具体实施方式

为了使本申请实施例目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本发明的具体技术方案做进一步详细描述，以下实施例用于说明本申请，但不用来限制本申请范围。

本实施例实现了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法，该方法能够根据多视旋转扫描线阵图像间的同名点对应关系，自动求解图像的高精度内外参以及路标点三维坐标。

图1为本申请实施例的波段选择方法流程示意图，如图1所示，所述方法包含以下步骤：

步骤S101，获取旋转扫描线阵图像采集参数和相机内参。

在本申请实施例中，旋转扫描线阵图像采集参数包括相邻扫描线夹角和以及相机安置俯仰角。

其中相邻扫描线夹角参数a_x可以根据转台速度ω的曝光时间t计算获得：a_x＝ωt，为了保证扫描线阵图像不发生压缩或者拉伸形变，相邻扫描线夹角通常设定为与相机的瞬时视场角相同。该参数是旋转扫描线阵相机成像的必须参数，可以从成像设定记录或者图像文件的元数据中获取。

相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角，也等价于扫描线与转轴的夹角。在本身实施例中，考虑2种典型的高光谱线阵旋转扫描相机安置形式，如图2所示，其中S201为相机直接固定于旋转云台上，此时相机安置俯仰角始终不变，且近似为0°；而S202则是相机通过可调机械结构固定于旋转轴上，通过相机与旋转间的机械装置可以调整俯仰角度，从而方便获取不同高度目标的图像，在该条件下，可以使用水平仪测量相机俯仰角。

在本实施例中，相机内参包括相机镜头焦距、像主点坐标，以及镜头径向畸变和切向畸变参数。

其中镜头焦距为使用像素为单位进行表达，可以根据镜头焦距和成像单元大小直接计算，也可以使用相机标定方法获得。

像主点坐标是相机主光轴与成像平面交点的图像坐标，由于线阵相机只有一条扫描线，因此横坐标恒为0，纵坐标同样通过相机标定获得，或者也可以使用中心像素坐标作为近似值。

镜头畸变参数采用Brown模型，使用包含径向畸变和切向畸变两部分，两者均只考虑2阶参数情况，对于无标定参数相机，可以使用0作畸变参数初值。

步骤S102，根据相机内参和步骤S101所述图像采集参数，通过正投影变换将旋转扫描线阵图像投影到其正切平面上，生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像，并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标。

在本实施例中，以可调俯仰角的旋转扫描线阵相机为例说明旋转扫描线阵图像的正切平面构建方法以及等效框幅图像正投影和逆投影变换计算方法，对于类S201的线阵扫描成像设备，可以通过将该模型中俯仰角设置为0得到对应的投影变换模型并生成等效框幅图像。

具体的，如图3所示，圆台S301的立面为旋转扫描线阵相机的成像线阵轨迹构成的成像平面。对于总计有m条扫描线的旋转扫描线阵图像，其中心扫描线坐标为m/2，在图中表示为圆台上的直线AB，该中心扫描线AB对应的主光轴为OC，则存在关系

平面S302与圆台平面S301相切于直线AB，平面S302即为等效框幅图像的成像平面，该成像平面保证投影后的图像与原始图像具有相同的相机焦距。

对于正投影变换，即将旋转扫描线阵图像上点投影到等效框幅图像上，即对于旋转扫描成像平面上某点p_r，其图像坐标为(x_r,y_r)，其所在扫描线相对于中心扫描线的旋转角度为ω，该点入射光线相对于该点所在扫描线主光轴夹角为γ，两者计算公式为：

其中

为中心扫描线横坐标，

为旋转扫描线阵图像像主点纵坐标；

根据图3所示投影关系，p_r点入射光线与等效框幅成像平面的交点p_f在等效框幅图像坐标系下的坐标可以通过如下公式计算获得：

上式中(x_f，y_f)为等效框幅图像坐标，φ_c为相机安置俯仰角、a_x为相邻扫描线夹角、

为旋转扫描线阵图像的像主点坐标，f为镜头焦距。

上述变换通常应用在将旋转扫描图像上已知的同名点投影到等效框幅图像上使用，后续可能根据投影后的同名点等效框幅图像坐标计算等效框幅图像的成像位姿参数。

另一种情况是直接生成等效框幅图像，其总体流程为：

1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上；

2)根据四个角点投影后坐标范围，即最左、最右像素横坐标和最上、最下像素纵坐标，确定等效框幅图像的长宽，并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标；

3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；

4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。

在该流程中，关键步骤是计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标，由于上述正投影变换公式无法直接求逆计算，因此在本实施例中，如图3所示，使用如下步骤进行逆投影变换计算：

1)计算正切平面上点p_f与对应投影中心O连线

的向量表达式v1；

具体的，首先分别计算向量

和

的表达式：

根据上述两式可以计算

2)根据上述向量，计算点p_f所在的扫描线与中心扫描线旋转角度ω，进而计算扫描线坐标x_r；

具体的，计算

并据此得到

所在平面相对于中心扫描线视平面的转角ω：

而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标：

3)计算点p_f所在扫描线的主光轴向量表达式v2；

点p_f所在扫描线的主光轴即向量

绕转轴旋转ω角度后的向量，其表达式为：

v2＝[fcosφ_csinω，fsinφ_c，fcosφ_ccosω]

4)计算v1和v2的夹角，即为像点与主光轴的夹角γ，进而计算扫描线纵坐标y_r；

具体的，根据上述v1和v2的表达式，可以根据向量点乘计算公式，得到p_f与其所在扫描线主光轴夹角γ：

最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标：

步骤S103，使用运动结构恢复方法，自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标。

具体的，在本实施例中，对于旋转扫描线阵图像，首先使用特征点自动探测和匹配方法，或者人工选点的方法，确定图像间的同名点对应关系。而后将所有图像同名点坐标投影到对应的等效框幅图像上。最后使用现有的运动结构恢复(Structure From Motion，SFM)方法，如增量式SFM或者全局SFM方法，或者自动化三维重建软件，如COLMAP，AliceVision或者Agisoft Metashape，将等效框幅图像的焦距和像主点坐标作为已知参数，不进行优化的条件下，恢复等效框幅图像的位姿参数(图像投影中心的三维坐标和成像姿态)以及同名点对应的路标点三维坐标。

步骤S104，使用最优化估计方法，以等效框幅图像的位姿参数作为初值，求得旋转扫描线阵图像的精确成像参数。

首先在本实施例中，综合了现有多种线阵相机成像模型和系统误差描述方法，实现了通过“世界坐标系

传感器坐标系

转台坐标系

相机坐标系

图像坐标系”五个坐标系间变换精确描述旋转扫描线阵相机成像过程模型的构建。

如下图所示，本实施例以任意给定直角坐标系为世界坐标系，其坐标值为(X_w,Y_w,Z_w)；以转台旋转轴为y轴，起始扫描线对应主光轴为z轴，构建右手直角坐标系为传感器坐标系，其坐标值表示为(X_s,Y_s,Z_s)；以某一时刻主光轴为z轴，旋转轴为y轴构建右手直角坐标系X_tY_tZ_t为转台坐标系；以线阵相机投影中心为原点，主光轴为z轴，y轴平行于扫描线，构建右手直角坐标系X_cY_cZ_c为相机坐标系，以图像成像二维平面左上为原点，扫描线为y轴构建二维平面坐标系uv为图像坐标系，则可以使用如下公轴式描述从世界坐标系到图像坐标系的变换，也就是旋转扫描线阵相机的严密成像模型：

其中R_T→C为相机安置矩阵，描述相机安置姿态；[e_x，e_y，e_z]^T为相机坐标系偏移向量，描述相机安置的偏心情况，为了方便表述，定义转台坐标系原点为相机坐标系原点在转台坐标系y轴上的投影，因此有e_y＝0；R_S→T为转台旋转矩阵，描述转台转动角度，使用单一角度参数计算生成；R_W→S和[X₀，Y₀，Z₀]^T为世界坐标系到传感器坐标系的旋转矩阵和平移向量；s为尺度参数；v为投影点图像纵坐标；f_y为y轴方向镜头焦距值，fx为x轴方向镜头焦距值，

为相机的像主点坐标，对于旋转扫描线阵相机而言，投影点横坐标恒为0，因此

而f_x取值并不影响最终投影点位置，因此不属于成像模型参数；

R_T→C可以通过相机的三个姿态角，包括俯仰角φ_c、航偏角ω_c、滚动角κ_c，对应的旋转矩阵相乘获得，具体计算公式如下：

其中，a₁₁，…，a₃₃是旋转矩阵的参数；

R_S→T为转台旋转矩阵，由于旋转扫描成像转台沿y轴旋转，因此该矩阵使用单一角度参数θ计算生成，其计算公式为：

R_W→S为世界坐标系到传感器坐标系的旋转矩阵，同样使用三个姿态角(φ_s，ω_s，κ_s)计算获得，计算公式为：

综上旋转扫描线阵相机严密成像模型总共包含14个参数，即旋转扫描线阵图像的精确成像参数，其中：

相机内参2项：f_y和

转台参数6项：θ，(φ_c，ω_c，κ_c)，e_x，e_z；

成像系统外参6项：(φ_s，ω_s，κ_s)和[X₀，Y₀，Z₀]。

经过整理，上述严密成像模型可以表示为：

其中

计算公式如下：

这样可以求解得到投影点图像坐标的解析表达式为：

其中：

需要注意的是，在上述投影点图像坐标的解析表达式中，x坐标的解有两个，对应的物理含义是一条入射光线与成像圆台面存在2个交点。在本实施例中，我们针对如下特殊情况进行讨论，即旋转扫描图像的扫描角度小于180°，此时入射光线与旋转扫描图像的圆台成像平面只存在唯一的交点，通过对该成像条件下各参数的取值范围进行分析发现，可以使用如下表达式计算唯一的投影点x坐标：

在上述投影点坐标解析解表达式的基础上，可以根据等效框福图像得到的路标点三维坐标以及图像的内外参初值，构建投影点坐标残差方法，根据最小二乘方法，使用Levenberg-Marquardt方法，对所有成像参数，包括相机内参、转台参数和成像系统外参总计14个成像参数，以及所有的路标点三维坐标进行联合优化，最终求得精确地重建三维点坐标以及图像成像参数。

在本实施例中，当因为各种因素导致无法实际测量相机俯仰角参数，例如没有相应角度测量设备，或者无法调整转轴呈竖直状态等，可以利用正投影变换求解线阵相机的安置俯仰角φ_c。具体步骤为：

1)选择场景中一条直线在旋转扫描图像上的投影曲线(非平行于扫描线)。

如图5中旋转扫描图像所示，该图像每一列为一条扫描线，图中曲线对应的实际对象为直线，其在图像上的投影为一条曲线。

2)在该投影曲线上选择3个点。如S501所示，这三个点间线段的夹角小于180°，不是一条直线。

3)根据等效框幅投影公式

将上述三个点投影到等效框幅图像上。

4)根据等效框幅图像上三个投影点在同一直线上的约束，求解得到相机安置俯仰角。

根据射影几何原理，空间中一条直线在框幅式图像上的对应的投影依然是一条直线，因此上述选择的三个点在等效框幅图像上坐标应该满足如下共线关系：

因此根据该共线关系约束和等效框幅投影变换公式，可以求解相机安置俯仰角参数。

具体求解方法可以直接计算解析解，也可以根据设定的精度，使用暴力穷举的方式求解，如S502所示，当求解得到的安置俯仰角与真实俯仰角相同时，上述三点就会处于同一直线上。该安置俯仰角的计算结果可用作为后续的迭代优化解算的初值。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于，所述方法包括如下步骤：

步骤S101，获取旋转扫描线阵图像采集参数和相机内参；

步骤S102，根据相机内参和步骤S101所述图像采集参数，通过正投影变换将旋转扫描线阵图像投影到其正切平面上，生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像，并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；

步骤S102所述正切平面与旋转扫描线阵图像成像平面相切于中心扫描线，将旋转扫描线阵图像投影到其正切平面上的具体实现方式如下；

对于旋转扫描成像平面上某点p_r，其图像坐标为(x_r，y_r)，其所在扫描线相对于中心扫描线的旋转角度为ω，该点入射光线相对于该点所在扫描线主光轴夹角为γ，两者计算公式为：

其中

为中心扫描线横坐标，

为旋转扫描线阵图像像主点纵坐标；

根据投影关系，p_r点入射光线与等效框幅成像平面的交点p_f在等效框幅图像坐标系下的坐标可以通过如下公式计算获得：

上式中(x_f，y_f)为等效框幅图像坐标，φ_c为相机安置俯仰角，a_x为相邻扫描线夹角，

为旋转扫描线阵图像的像主点坐标，f为镜头焦距；

步骤S103，使用运动结构恢复方法，自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标；

步骤S104，以等效框幅图像的位姿参数作为初值，使用最优化估计方法，求得旋转扫描线阵图像的精确成像参数。

2.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S101所述旋转扫描线阵图像采集参数包括：相机安置俯仰角，相邻扫描线夹角，或者等价的相机旋转速度与曝光时间参数计算得到相邻扫描线夹角；

其中相邻扫描线夹角参数a_x可以根据转台速度ω的曝光时间t计算获得：a_x＝ωt，为了保证扫描线阵图像不发生压缩或者拉伸形变，相邻扫描线夹角设定为与相机的瞬时视场角相同，该参数是旋转扫描线阵相机成像的必须参数，可以从成像设定记录或者图像文件的元数据中获取；

相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角，也等价于扫描线与转轴的夹角。

3.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S101所述相机内参包括镜头焦距和像主点坐标，以及镜头径向畸变和切向畸变参数；

其中镜头焦距为使用像素为单位进行表达，根据镜头焦距和成像单元大小直接计算，或使用相机标定方法获得；

像主点坐标是相机主光轴与成像平面交点的图像坐标，由于线阵相机只有一条扫描线，因此横坐标恒为0，纵坐标同样通过相机标定获得，或者使用中心像素坐标作为近似值；

镜头畸变参数采用Brown模型，使用包含径向畸变和切向畸变两部分，两者均只考虑2阶参数情况，对于无标定参数相机，使用0作畸变参数初值。

4.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：相机安置俯仰角φ_c通过如下方式获得；

(a)选择场景中一条直线在旋转扫描图像上的投影曲线，该投影曲线不平行于扫描线；

(b)在该投影曲线上选择3个点，这三个点间线段的夹角小于180°，不在一条直线上；

(c)根据等效框幅投影公式

将上述三个点投影到等效框幅图像上；

(d)根据等效框幅图像上三个投影点在同一直线上的约束，求解得到相机安置俯仰角。

5.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S102中逆投影变换的总体流程如下；

(1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上；

(2)根据四个角点投影后坐标范围，即最左、最右像素横坐标和最上、最下像素纵坐标，确定等效框幅图像的长宽，并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标；

(3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标；

(4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。

6.如权利要求5所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S102中通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标，其具体实现方式如下；

对于总计有m条扫描线的旋转扫描线阵图像，其中心扫描线坐标为m/2，中心扫描线记为直线AB，该中心扫描线对应的主光轴为OC，则存在关系

1)计算正切平面上点p_f与对应投影中心O连线

的向量表达式v1；

具体的，首先分别计算向量

和

的表达式：

根据上述两式可以计算

2)根据上述向量，计算点p_f所在的扫描线与中心扫描线旋转角度ω，进而计算扫描线坐标x_r；

具体的，计算

并据此得到

所在平面相对于中心扫描线视平面的转角ω：

而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标：

3)计算点p_f所在扫描线的主光轴向量表达式v2；

点p_f所在扫描线的主光轴即向量

绕转轴旋转ω角度后的向量，其表达式为：

v2＝[fcosφ_csinω，fsinφ_c，fcosφ_ccosω]

4)计算v1和v2的夹角，即为像点与主光轴的夹角γ，进而计算扫描线纵坐标y_r；

具体的，根据上述v1和v2的表达式，可以根据向量点乘计算公式，得到p_f与其所在扫描线主光轴夹角γ：

最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标：

7.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S103的具体实现方式如下；

对于旋转扫描线阵图像，首先使用特征点自动探测和匹配方法，或者人工选点的方法，确定图像间的同名点对应关系，而后将所有图像同名点坐标投影到对应的等效框幅图像上，最后使用现有的运动结构恢复方法，增量式SFM或者全局SFM方法，或者自动化三维重建软件，将等效框幅图像的焦距和像主点坐标作为已知参数，不进行优化的条件下，恢复等效框幅图像的位姿参数以及同名点对应的路标点三维坐标，其中位姿参数包括图像投影中心的三维坐标和成像姿态。

8.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法，其特征在于：步骤S104的具体实现方式如下；

以任意给定直角坐标系为世界坐标系，其坐标值为(X_w，Y_w，Z_w)；以转台旋转轴为y轴，起始扫描线对应主光轴为z轴，构建右手直角坐标系为传感器坐标系，其坐标值表示为(X_s，Y_s，Z_s)；以某一时刻主光轴为z轴，旋转轴为y轴构建右手直角坐标系X_tY_tZ_t为转台坐标系；以线阵相机投影中心为原点，主光轴为z轴，y轴平行于扫描线，构建右手直角坐标系X_cY_cZ_c为相机坐标系，以图像成像二维平面左上为原点，扫描线为y轴构建二维平面坐标系uv为图像坐标系，则可以使用如下公轴式描述从世界坐标系到图像坐标系的变换，也就是旋转扫描线阵相机的严密成像模型：

其中R_T→C为相机安置矩阵，描述相机安置姿态；[e_x，e_y，e_z]^T为相机坐标系偏移向量，描述相机安置的偏心情况，为了方便表述，定义转台坐标系原点为相机坐标系原点在转台坐标系y轴上的投影，因此有e_y＝0；R_S→T为转台旋转矩阵，描述转台转动角度，使用单一角度参数计算生成；R_W→S和[X₀，Y₀，Z₀]^T为世界坐标系到传感器坐标系的旋转矩阵和平移向量；s为尺度参数；v为投影点图像纵坐标；f_y为y轴方向镜头焦距值，f_x为x轴方向镜头焦距值，

为相机的像主点坐标，对于旋转扫描线阵相机而言，投影点横坐标恒为0，因此

而f_x取值并不影响最终投影点位置，因此不属于成像模型参数；

R_T→C可以通过相机的三个姿态角，包括俯仰角φ_c、航偏角ω_c、滚动角κ_c，对应的旋转矩阵相乘获得，具体计算公式如下：

其中，a₁₁，…，a₃₃是旋转矩阵的参数；

R_S→T为转台旋转矩阵，由于旋转扫描成像转台沿y轴旋转，因此该矩阵使用单一角度参数θ计算生成，其计算公式为：

R_W→S为世界坐标系到传感器坐标系的旋转矩阵，同样使用三个姿态角(φ_s，ω_s，κ_s)计算获得，计算公式为：

综上旋转扫描线阵相机严密成像模型总共包含14个参数，即旋转扫描线阵图像的精确成像参数，其中：

相机内参2项：f_y和

转台参数6项：θ，(φ_c，ω_c，κ_c)，e_x，e_z；

成像系统外参6项：(φ_s，ω_s，κ_s)和[X₀，Y₀，Z₀]；

经过整理，上述严密成像模型可以表示为：

其中

计算公式如下：

这样可以求解得到投影点图像坐标的解析表达式为：

其中：

Images