CN102798380B - 线阵图像中目标运动参数的测量方法 - Google Patents

Abstract

本发明提供一种利用光学图像测量目标运动参数的方法。技术方案包括下述步骤：第一步，进行线阵像机的标定，获取线阵像机的内方位元素和外方位元素。第二步，确定线阵像机的成像模型，确定空间任意一点和其对应成像点之间的成像几何关系。第三步，计算运动目标的运动参数，在运动目标上选取至少5个特征点，利用这些特征点和其对应成像点之间的成像几何关系，获得关于目标运动参数的非线性方程，通过求解方程得到目标运动参数。本发明能够精确地测量运动目标的运动参数。

Description

线阵图像中目标运动参数的测量方法

技术领域

本发明涉及摄影测量、图像处理领域，尤其涉及线阵图像中目标运动参数的测量方法。

背景技术

光学图像中目标的运动分析和参数测量在国防预警、交通管制等领域有着非常广泛的应用，长期以来一直是摄影测量、图像处理领域长期研究的重要课题。在各种运动目标的检测、跟踪和识别中，运动参数的测量是一个关键的内容。

目前，利用光学图像测量目标的运动参数的方法主要有两种：第一种，对目标进行连续拍摄获得目标运动的序列图像，通过计算相邻图像帧之间目标运动的距离来计算目标运动的速度和方向等参数；第二种，利用目标单幅成像时曝光时间内产生的运动模糊，计算出目标运动的速度和方向等参数。这两种方法都是基于面阵像机获取的光学图像，第一种方法需要处理的数据量较大，由于面阵像机拍摄频率的限制，为了获得目标的序列图像，常常要设置多台像机进行拍摄，增加了像机标定和布置的难度。第二种方法需要从目标的运动模糊中得到目标的运动位移，对特征提取的算法要求较高，精度难以保证。

相比以面阵传感器为成像器件的面阵像机而言，以线阵传感器为成像器件的线阵像机在灵敏度、成像频率等方面更具优势，线阵像机扫描成像的独特原理使得它获得的线阵图像具有背景单一，分辨率高的特点，特别在拍摄高速运动的目标时，可以得到目标轮廓更为清晰的目标影像，因此，线阵图像在分析运动目标方面具有很好的潜质。目前，尚没有该方面的测量方法的研究。

发明内容

本发明要解决的技术问题是利用运动目标的线阵图像计算目标的运动速度和方向等参数。本发明的目的是提供一种新的利用光学图像测量目标运动参数的方法，为从线阵图像中测量目标的位置、姿态和速度等运动参数提供了一种技术途径。

本发明的技术方案是：一种线阵图像中目标运动参数的测量方法，其特征在于包括下述步骤：

第一步，进行线阵像机的标定。

对用于测量运动目标的线阵像机进行标定，获取线阵像机的内方位元素和外方位元素。

第二步，确定线阵像机的成像模型。

确定空间任意一点和其对应成像点之间的成像几何关系。

第三步，计算运动目标的运动参数

在运动目标上选取至少5个能够在运动目标线阵图像上找出其对应成像点的特征点，利用这些特征点和其对应成像点之间的成像几何关系，建立成像关系式，获得一系列关于目标运动参数的非线性方程，通过对由这些非线性方程构成的非线性方程组的优化求解，得到目标运动参数。

本发明的有益效果：本发明采用线阵像机获取运动目标的线阵图像，该图像在反映目标的运动情况方面具有分辨率高，目标轮廓清晰的特点。运动目标的线阵图像能够同时记录运动目标在成像过程中的时间和空间信息，通过运动目标上的特征点与其线阵图像上对应成像点之间的成像几何关系，可以精确地测量运动目标的运动参数。

附图说明

图1是线阵图像中目标运动参数测量方法的流程图；

图2是线阵像机对运动目标扫描成像的示意图；

图3是目标上的特征点与其对应的线阵图像中的成像点的示意图。

具体实施方式

下面结合附图对本发明做详细说明。

第一步，进行线阵像机的标定。

本发明中采用的是线阵像机作为摄影测量的工具。线阵像机的成像模型中包含了线阵像机的内方位元素和外方位元素，这些方位元素是通过线阵像机的标定来获取的。线阵像机的标定以及成像模型的描述具体参见：C.A.Luna,M.Mazo,et al，Calibration of Line-Scan Cameras,IEEE TRANSACTIONS ONINSTRUMENTATION AND MEASUREMENT,2010,59,(8),pp.2185-2190.

为了描述线阵像机成像时空间关系，定义如下坐标系（如附图2所示）：

测量坐标系O-XYZ：在实际运动目标的测量中，选择地平面上任一点作为测量坐标系原点O，正北方向为X轴的正方向，竖直向上的方向为Z轴正方向，O-XY平面与地平面重合，O-XY平面与Z轴构成右手系。测量坐标系用以描述运动目标和线阵像机的空间姿态和位置；

像空间坐标系o-xyz：o为线阵像机传感器的摄影中心，z轴的正方向是主光轴朝向运动目标的方向，y轴的正方向是平行于线阵传感器且竖直向下的方向，x轴垂直于线阵传感器的方向，o-xy平面与z轴构成右手系；

像平面坐标系o′-x′y′：坐标原点o′为传感器的成像主点，x′轴平行于x轴，y′轴平行于y轴。

目标坐标系O_o-X_oY_oZ_o：为叙述方便定义该坐标系，用以描述目标上的点在目标上的位置。目标的位置、姿态和速度参数和像机的位置和姿态参数都在测量坐标系中定义。

对用于拍摄运动目标的线阵像机进行标定，获得线阵像机的内方位元素和外方位元素。线阵像机的内方位元素包括传感器的焦距f，像主点偏移量y₀；外方位元素包括传感器的位置（用摄影中心的坐标o(X_S,Y_S,Z_S)表示），姿态（用像空间坐标系与测量坐标系坐标轴之间旋转过的角度φ，ω，κ表示）。

第二步，确定线阵像机的成像模型。

确定空间任意一点和其对应成像点之间的成像几何关系。

测量坐标系中的任意一空间点(X,Y,Z)与其对应的成像点(x′,y′)之间的成像几何关系，即线阵像机的成像模型表示为：

$\left\{\begin{array}{c}{x}^{\′}=0=a_1(X-X_s)+b_1(Y-Y_s)+c_1(Z-Z_s)\\ y^{\′}-y_0=-f\frac{a_2(X-X_s)+b_2(Y-Y_s)+c_2(Z-Z_s)}{a_3(X-X_s)+b_3(Y-Y_s)+c_3(Z-Z_s)}\end{array}\right.$

写成矩阵形式

$\left[\begin{array}{c}0\\ y^{\′}-y_0\\ -f\end{array}\right]=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{c}X-X_s\\ Y-Y_s\\ {Z-Z}_x\end{array}\right]=R\left[\begin{array}{c}X-X_s\\ Y-Y_s\\ Z-Z_x\end{array}\right]$

其中，X_s,Y_s,Z_s为线阵像机的摄影中心在目标坐标系中的位置，a_i,b_i,c_i(i＝1,2,3)为像空间坐标系与测量坐标系之间旋转矩阵R中的9个元素表示为：

第三步，计算运动目标的运动参数

在运动目标上选取至少5个能够在运动目标线阵图像上找出其对应成像点的特征点，利用这些特征点空间位置和其对应成像点之间的成像几何关系，建立成像关系式，获得一系列关于目标运动参数的非线性方程，通过对由这些非线性方程构成的非线性方程组的优化求解，来实现对目标运动参数的测量。具体过程如下：

第1步，确定目标上特征点成像时的空间关系

设立9个未知参数来描述一个运动目标在测量坐标系中的运动参数，它们分别是成像时目标的位置参数X′₀,Y′₀,Z′₀、姿态参数ω′,κ′以及三维运动速度V(V_x,V_y,V_z)。

假设目标坐标系O_o-Xx_oY_oZ_o与测量坐标系O-XYZ之间的旋转矩阵为R_wo，平移矢量为T_wo＝[X′₀,Y′₀,Z′₀]^T，其中R_wo由两个坐标系之间3个坐标轴的旋转量ω′,κ′来表示，则目标坐标系与测量坐标系满足

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R_{\mathrm{wo}}\left[\begin{array}{c}{X}_o\\ Y_o\\ Z_o\end{array}\right]+T_{\mathrm{wo}}$

通过该公式，目标坐标系上的每个点坐标都可以转换到测量坐标系中。假设目标上N个特征点的集合为P{P_o1,P_o2,...P_oi|i＝0,...N-1}。在目标坐标系确定并且目标的几何外形先验信息已知的前提下，所有特征点P_oi(X_oi,Y_oi,Z_oi),(i＝0,...N-1)在目标坐标系中的坐标都是已知的，则可以获得这些点坐标在测量坐标系中的坐标为P_i(X_i,Y_i,Z_i),(i＝0,...N-1)。X_i,Y_i,Z_i的值分别由特征点在目标坐标系下的坐标值X_oi,Y_oi,Z_oi和X′₀,Y′₀,Z′₀,ω′,κ′表示。

假设目标匀速通过线阵像机时的速度矢量为V(V_x,V_y,V_z)，运动的时间为t，则各特征点的坐标可进一步表示为运动形式P_it(X_it,Y_it,Z_it),(i＝0,...N-1)，其中

X_it＝X_i+V_xt

Y_it＝Y_i+V_yt

Z_it＝Z_i+V_zt

因此，目标上每个特征点被拍摄时的位置参数可以根据运动目标的9个运动参数和特征点在线阵图像上的成像点所对应的时间信息表达出来。

第2步，建立包含目标运动参数的非线性方程组

如附图3(a)所示的是一个运动目标，A,B,C,D,E是目标上5个明显的特征点，如果已知目标的先验信息，可以确定在目标坐标系中5个特征点的坐标值。图3(b)所示的是运动目标经过线阵成像后的结果，a,b,c,d,e点分别是在目标线阵图像上与A,B,C,D,E5个特征点相对应的成像点。

5个特征点分别对应着不同的成像时刻t_a,t_b,t_c,t_d,t_e，5个成像时刻可以通过成像点在图像上所在线阵列数求得。每一个特征点的成像都可以根据线阵像机成像模型得到2个关于目标运动参数的非线性方程。因此，在运动目标上选取至少5个能够在运动目标线阵图像上找出其对应成像点的特征点，利用这些特征点空间位置和其对应成像点之间的成像几何关系，得到不少于10个这样的非线性方程式组成的非线性方程组，通过非线性方程组的求解计算运动目标的9个运动参数。具体过程为：

假设运动目标上每个特征点的成像时刻为t_i，运动目标上的特征点P_it(X_it,Y_it,Z_it),(i＝0,...N-1)经过传感器的视平面时与其所成的像点p_i(0,y_i),(i＝0,...N-1)存在如下的成像关系方程

$\left\{\begin{array}{c}{x}^{\′}=0=a_1(X_{\mathrm{it}}-X_S)+b_1(Y_{\mathrm{it}}-Y_S)+c_1(Z_{\mathrm{it}}-Z_S)\\ y^{\′}=-f\·\frac{a_2(X_{\mathrm{it}}-X_S)+b_2(Y_{\mathrm{it}}-Y_S)+c_2(Z_{\mathrm{it}}-Z_S)}{a_3(X_{\mathrm{it}}-X_S)+b_3(Y_{\mathrm{it}}-Y_S)+c_3(Z_{\mathrm{it}}-Z_S)}\end{array}\right.$

其中，a_i,b_i,c_i(i＝1,2,3)为构成线阵像机姿态的旋转矩阵的9个元素，X_s,Y_s,Z_s为像机的摄影中心在目标坐标系中的位置。

特征点的像点坐标、特征点在目标坐标系中的坐标以线阵像机的内方位元素和外方位元素都是已知的，未知量有目标的位置参数T_wo＝[X′₀,Y′₀,Z′₀]^T、姿态参数ω′,κ′和运动速度矢量V(V_x,V_y,V_z)，写成参数矢量的形式

每一个运动目标上的特征点通过线阵像机的视平面并且成像后得到的2个包含目标参数矢量中9个运动参量的非线性方程为

$\left\{\begin{array}{c}{f}_{2i-1}\left(\mathrm{\Φ}\right)=a_1(X_{\mathrm{it}}-X_S)+b_1(Y_{\mathrm{it}}-Y_S)+c_1(Z_{\mathrm{it}}-Z_S)=0\\ f_{2i}\left(\mathrm{\Φ}\right)=y^{\′}+f\·\frac{a_2(X_{\mathrm{it}}-X_S)+b_2(Y_{\mathrm{it}}-Y_S)+c_2(Z_{\mathrm{it}}-Z_S)}{a_3(X_{\mathrm{it}}-X_S)+b_3(Y_{\mathrm{it}}-Y_S)+c_3(Z_{\mathrm{it}}-Z_S)}=0\end{array}\right.$

其中i＝0,...N-1。当N≥5时，可以建立至少由10个非线性方程组成的非线性方程组

记F(Φ)＝(f₁(Φ),f₂(Φ),...f_2N-1(Φ),f_2N(Φ))^T＝0，则方程组简记为

F(Φ)＝0

该方程组即为求解运动参数的非线性优化模型，这是一个典型的非线性方程组最优化求解问题。

第3步，求解运动目标的运动参数

采用Gauss-Newton法对上一步获得的非线性方程组进行优化求解，求解运动目标的运动参数。

将非线性方程组在某一处Φ^(k)线性化为

$F\left(\mathrm{\Φ}\right)\≈F\left({\mathrm{\Φ}}^{\left(k\right)}\right)+\▿F\left({\mathrm{\Φ}}^{\left(k\right)}\right)(\mathrm{\Φ}-{\mathrm{\Φ}}^{\left(k\right)})$

其中k＝0时为初始值Φ⁽⁰⁾，k＝0,1,2,...。令ΔΦ^(k)＝Φ-Φ^(k)，则

$F\left({\mathrm{\Φ}}^{\left(k\right)}\right)+\▿F\left({\mathrm{\Φ}}^{\left(k\right)}\right)\left(\mathrm{\Δ}{\mathrm{\Φ}}^{\left(k\right)}\right)=0$

对参数向量Φ^(k)求偏导数可以得到Jacobi矩阵：

$\▿F\left({\mathrm{\Φ}}^{\left(k\right)}\right)=({\▿f}_1\left({\mathrm{\Φ}}^{\left(k\right)}\right),{\▿f}_2\left({\mathrm{\Φ}}^{\left(k\right)}\right),{\▿f}_3\left({\mathrm{\Φ}}^{\left(k\right)}\right),...{\▿f}_{2N}{\left({\mathrm{\Φ}}^{\left(k\right)}\right))}^T$

其中，

当非奇异时，方程组存在唯一解，记为Φ^(k+1)，因此得到

${\mathrm{\Φ}}^{(k+1)}={\mathrm{\Φ}}^{\left(k\right)}-[\▿F\left({\mathrm{\Φ}}^{\left(k\right)}\right){]}^{T}F\left({\mathrm{\Φ}}^{\left(k\right)}\right)$

此式为迭代形式，给出迭代收敛的阈值δ，阈值δ的选取与测量需要得到的精度以及实际应用中对计算量的要求有关，对本领域的技术人员而言，如何确定该值是公知常识。当满足Φ^(k+1)-Φ^(k)≤δ时，停止迭代，将此时目标的运动参数作为参数估计的最优解。

Claims (1)

1.一种线阵图像中目标运动参数的测量方法，其特征在于包括下述步骤：

第一步，进行线阵像机的标定：

定义如下坐标系：

测量坐标系O-XYZ：在实际运动目标的测量中，选择地平面上任一点作为测量坐标系原点O，正北方向为X轴的正方向，竖直向上的方向为Z轴正方向，O-XY平面与地平面重合，O-XY平面与Z轴构成右手系；

像空间坐标系o-xyz：o为线阵像机传感器的摄影中心，z轴的正方向是主光轴朝向运动目标的方向，y轴的正方向是平行于线阵传感器且竖直向下的方向，x轴垂直于线阵传感器的方向，o-xy平面与z轴构成右手系；

像平面坐标系o′-x′y′：坐标原点o′为传感器的成像主点，x′轴平行于x轴，y′轴平行于y轴；

目标坐标系O_o-X_oY_oZ_o：描述目标上的点在目标上的位置；

对用于拍摄运动目标的线阵像机进行标定，获得线阵像机的内方位元素和外方位元素；线阵像机的内方位元素包括传感器的焦距f，像主点偏移量y₀；外方位元素包括传感器的位置，用摄影中心的坐标o(X_S,Y_S,Z_S)表示；姿态用像空间坐标系与测量坐标系坐标轴之间旋转过的角度ω，κ表示；

第二步，确定线阵像机的成像模型：

测量坐标系中的任意一空间点(X,Y,Z)与其对应的成像点(x′,y′)之间的成像几何关系，即线阵像机的成像模型表示为：

$\left\{\begin{array}{c}{x}^{\′}=0=a_1(X-X_s)+b_1(Y-Y_s)+c_1(Z-Z_s)\\ y^{\′}-y_0=-f\frac{a_2(X-X_s)+b_2(Y-Y_s)+c_2(Z-Z_s)}{a_3(X-X_s)+b_3(Y-Y_s)+c_3(Z-Z_s)}\end{array}\right.$

写成矩阵形式

$\left[\begin{array}{c}0\\ y^{\′}-y_0\\ -f\end{array}\right]=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{c}X-X_s\\ Y-Y_s\\ Z-Z_x\end{array}\right]=R\left[\begin{array}{c}X-X_s\\ Y-Y_s\\ Z-Z_x\end{array}\right]$

其中，X_s,Y_s,Z_s为线阵像机的摄影中心在目标坐标系中的位置，a_i,b_i,c_i(i＝1,2,3)为像空间坐标系与测量坐标系之间旋转矩阵R中的9个元素表示为：

第三步，计算运动目标的运动参数

在运动目标上选取至少5个能够在运动目标线阵图像上找出其对应成像点的特征点，利用这些特征点空间位置和其对应成像点之间的成像几何关系，建立成像关系式，获得一系列关于目标运动参数的非线性方程，通过对由这些非线性方程构成的非线性方程组的优化求解，来实现对目标运动参数的测量，具体过程如下：

第1步，确定目标上特征点成像时的空间关系：

设立9个未知参数来描述一个运动目标在测量坐标系中的运动参数，它们分别是成像时目标的位置参数X′₀,Y′₀,Z′₀、姿态参数ω′,κ′以及三维运动速度V(V_x,V_y,V_z)；

假设目标坐标系O_o-X_oY_oZ_o与测量坐标系O-XYZ之间的旋转矩阵为R_wo，平移矢量为T_wo＝[X′₀,Y′₀,Z′₀]^T，其中R_wo由两个坐标系之间3个坐标轴的旋转量ω′,κ′来表示，则目标坐标系与测量坐标系满足

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R_{\mathrm{wo}}\left[\begin{array}{c}{X}_o\\ Y_o\\ Z_o\end{array}\right]+T_{\mathrm{wo}}$

通过该公式，目标坐标系上的每个点坐标都转换到测量坐标系中；假设目标上N个特征点的集合为P{P_o1,P_o2,...P_oi|i＝0,...N-1}，在目标坐标系确定并且目标的几何外形先验信息已知的前提下，所有特征点P_oi(X_oi,Y_oi,Z_oi)在目标坐标系中的坐标都是已知的，则可以获得这些点坐标在测量坐标系中的坐标为P_i(X_i,Y_i,Z_i)，X_i,Y_i,Z_i的值分别由特征点在目标坐标系下的坐标值X_oi,Y_oi,Z_oi和X′₀,Y′₀,Z′₀,ω′,κ′表示；

假设目标匀速通过线阵像机时的速度矢量为V(V_x,V_y,V_z)，运动的时间为t，则各特征点的坐标进一步表示为运动形式P_it(X_it,Y_it,Z_it)，其中

X_it＝X_i+V_xt

Y_it＝Y_i+V_yt

Z_it＝Z_i+V_zt

因此，目标上每个特征点被拍摄时的位置参数根据运动目标的9个运动参数和特征点在线阵图像上的成像点所对应的时间信息表达出来；

第2步，建立包含目标运动参数的非线性方程组：

A,B,C,D,E是运动目标上5个明显的特征点，已知目标的先验信息，确定在目标坐标系中5个特征点的坐标值；运动目标经过线阵成像后的结果a,b,c,d,e点分别是在目标线阵图像上与A,B,C,D,E5个特征点相对应的成像点；

5个特征点分别对应着不同的成像时刻t_a,t_b,t_c,t_d,t_e，5个成像时刻通过成像点在图像上所在线阵列数求得；每一个特征点的成像都根据线阵像机成像模型得到2个关于目标运动参数的非线性方程；因此，在运动目标上选取至少5个能够在运动目标线阵图像上找出其对应成像点的特征点，利用这些特征点空间位置和其对应成像点之间的成像几何关系，得到不少于10个这样的非线性方程式组成的非线性方程组，通过非线性方程组的求解计算运动目标的9个运动参数，具体过程为：

假设运动目标上每个特征点的成像时刻为t_i，运动目标上的特征点P_it(X_it,Y_it,Z_it)经过传感器的视平面时与其所成的像点p_i(0,y_i)存在如下的成像关系方程

$\left\{\begin{array}{c}{x}^{\′}=0=a_1(X_{\mathrm{it}}-X_S)+b_1(Y_{\mathrm{it}}-Y_S)+c_1(Z_{\mathrm{it}}-Z_S)\\ y^{\′}=-f\·\frac{a_2(X_{\mathrm{it}}-X_S)+b_2(Y_{\mathrm{it}}-Y_S)+c_2(Z_{\mathrm{it}}-Z_S)}{a_3(X_{\mathrm{it}}-X_S)+b_3(Y_{\mathrm{it}}-Y_S)+c_3(Z_{\mathrm{it}}-Z_S)}\end{array}\right.$

其中，a_j,b_j,c_j,j＝1,2,3为构成线阵像机姿态的旋转矩阵的9个元素，X_s,Y_s,Z_s为线阵像机的摄影中心在目标坐标系中的位置；

特征点的像点坐标、特征点在目标坐标系中的坐标以线阵像机的内方位元素和外方位元素都是已知的，未知量有目标的位置参数T_wo＝[X′₀,Y′₀,Z′₀]^T、姿态参数ω′,κ′和运动速度矢量V(V_x,V_y,V_z)，写成参数矢量的形式

每一个运动目标上的特征点通过线阵像机的视平面并且成像后得到的2个包含目标参数矢量中9个运动参量的非线性方程为

$\left\{\begin{array}{c}{f}_{2i-1}\left(\mathrm{\Φ}\right)=a_1(X_{\mathrm{it}}-X_S)+b_1(Y_{\mathrm{it}}-Y_S)+c_1(Z_{\mathrm{it}}-Z_S)=0\\ f_{2i}\left(\mathrm{\Φ}\right)=y^{\′}+f\·\frac{a_2(X_{\mathrm{it}}-X_S)+b_2(Y_{\mathrm{it}}-Y_S)+c_2(Z_{\mathrm{it}}-Z_S)}{a_3(X_{\mathrm{it}}-X_S)+b_3(Y_{\mathrm{it}}-Y_S)+c_3(Z_{\mathrm{it}}-Z_S)}=0\end{array}\right.$

当N≥5时，建立至少由10个非线性方程组成的非线性方程组

记F(Φ)＝(f₁(Φ),f₂(Φ),...f_2N-1(Φ),f_2N(Φ))^T＝0，则方程组简记为

F(Φ)＝0

该方程组即为求解运动参数的非线性优化模型；

第3步，求解运动目标的运动参数

采用Gauss-Newton法对上一步获得的非线性方程组进行优化求解，求解运动目标的运动参数。