CN100504299C - 一种空间非合作物体三维信息的获取方法 - Google Patents

Abstract

一种空间非合作物体三维信息的获取方法，属于数字图像处理方法，目的在于克服目前使用的方法中所存在的问题，提高空间非合作物体三维信息估计精度与实时处理速度。本发明用于观测星与空间非合作物体近距离接近过程，顺序包括：(1)近距离物体估计处理步骤，与目标距离200m～100m；(2)超近距离物体估计处理步骤，与目标距离100m～5m；(3)极近距离物体估计处理步骤，与目标距离5m～0m。本发明随着观测星与空间物体的逐步逼近，各参数的估计精度逐渐增加，错误逐渐减少，可靠性逐渐增加，实时性与准确性均得到保证；可运用于在未知环境下逐渐靠近具有多面体特性的物体过程中的自主图像导航。

Description

一种空间非合作物体三维信息的获取方法

技术领域

本发明属于数字图像处理方法，具体涉及一种空间非合作物体三维信息的获取方法，运用于在未知环境下逐渐靠近具有多面体特性的物体过程中的自主图像导航。

背景技术

图像导航技术是航行装置利用传感器获取航向附近的物体信息，对获取的图像进行图像处理、图像分析，通过对拍摄的景物进行识别、分析等手段来确定航行装置的准确位置和高度，或者用作导航系统自动避障，或者将处理后的有用信息显示出来以提醒操纵人员。

对于自主图像导航问题，目前使用的方法是依据计算机视觉原理，从拍摄到的图像中获取导航信息，由于图像数据量往往很大，处理和分析算法相对复杂，计算速度慢，这大大限制了图像导航技术的发展；见JinCao.Vision techniques and autonomous navigation for an unmanned mobilerobot[R].Department of Mechanical，Industrial and Nuclear Engineering ofthe College of University of Cincinnati，1999.

其次，图像导航的精度还与拍摄得到的图像本身质量与分辨率以及算法精度有关。高质量图像与高精度算法得到的导航参数精度高，但是算法复杂度会提高，计算得到的参数实时性大大降低，因此，算法的精度与实时性的平衡也是图像导航中要考虑重要因素；见包桂秋，周兆英，熊沈蜀等.图像导航技术的发展和应用.航空计测技术，2003，23(6)：1～4。

此外，自主图像导航中根据空间物体与观测星的关系可分为合作物体与非合作物体。对于合作物体的图像导航装置，一般由安装在观测星的成像装置和合作物体上的特征光点两部分组成。这两部分在前者建立追踪器三维坐标系，在后者建立目标三维坐标系。通过对目标上的特征光点在摄像机靶面上成像和有关坐标系转换与数据处理，即可以获得目标相对于观测星的相对位置和姿态信息。而对非合作物体，其特征点——星标是需要观测星去检测和估计的。目标星三维坐标系的估计是难题。由于非合作物体本身没有配备特征光点，这就使得非合作物体提供的观测信息通常是不完备和不精确的，因而对导航信息的高精度确定造成困难；见刘涛，解永春.非合作物体交会相对导航方法研究.航天控制，2006，24(2)：48～53。

发明内容

本发明提供一种空间非合作物体三维信息的获取方法，目的在于克服目前使用的方法中所存在的图像数据量大，处理和分析算法相对复杂，计算速度慢以及算法的精度与实时性的平衡问题。

本发明的一种空间非合作物体三维信息的获取方法，用于观测星与空间非合作物体近距离接近过程，顺序包括下述步骤：

(1)近距离物体估计处理步骤，与物体距离200m～100m：

(1.1)采用可见光成像探测器获取双目立体图像对序列，分别对立体图像对序列中的空间物体进行捕获与定位；

(1.2)估计空间物体粗略距离信息；

(1.3)根据所述步骤(1.1)的结果，对激光雷达指向进行调整与定位，测量空间物体的相对距离与相对速度；

(2)超近距离物体估计处理步骤，与物体距离100m～5m：

(2.1)根据可见光成像探测器当前得到的图像信息，将所述步骤(1.2)得到的物体粗略距离信息和(1.3)得到的空间物体相对距离与相对速度作为初始量，进行空间物体的深度信息估计；

(2.2)进行空间物体的三维重建，对非遮挡表面和遮挡表面进行定位；

(2.3)估计物体的形心；

(2.4)估计物体的相对位置、相对姿态；

(2.5)进行物体感兴趣部位的捕获与定位；

(2.6)根据所述步骤(2.5)的结果，对激光雷达指向进行调整与定位，测量空间物体的相对距离与相对速度，输出到控制系统；

(3)极近距离物体估计处理步骤，与物体距离5m～0m：

根据可见光成像探测器当前得到的图像信息，结合所述步骤(2.5)、(2.6)的结果，对激光雷达进行指向调整与定位，使用激光雷达进行激光测距与测速，得到空间非合作物体的相对姿态、相对位置参数，输出到控制系统。

所述的空间非合作物体三维信息的获取方法，其特征在于，所述近距离物体估计处理步骤中：

(1)对立体图像对序列中的空间物体进行捕获与定位时，使用小目标检测跟踪方法对呈现点状或斑状特性的近距离空间物体进行捕获定位；

(2)估计物体粗略距离信息时，利用三维测量原理对双目立体图像对序列中的空间物体进行距离的粗略估计。

所述的空间非合作物体三维信息的获取方法，其特征在于，所述超近距离目标估计处理步骤中：

(1)进行空间物体的深度信息估计时，使用基于光流的被动测距方法，利用从仿射变换矩阵近似得到的光流散度来提取深度信息；

(2)进行空间物体的三维重建，对其非遮挡表面进行定位时，过程为：

(2.1)提取空间物体角点和边作为特征基元；

(2.2)利用三维测量原理估计空间物体特征基元的三维信息；

(2.3)根据各特征基元的三维信息确定空间物体各条边和各个平面，定位出空间物体表面；

对空间物体的遮挡表面定位时，观测星相对于空间物体绕飞，绕飞至空间物体遮挡表面显现后，根据步骤(2.1)～(2.3)完整重建物体遮挡表面；

(3)估计空间物体的形心时，利用重建空间物体的三维信息计算其形心；

(4)估计空间物体的相对位置、相对姿态时，通过建立观测星与空间物体的相对坐标系实现，建立两种不同坐标系供外部控制系统选择使用：选取空间物体形心作为相对坐标系原点建立相对坐标系；或者获得空间物体上若干个星标，并在星标所在的表面上建立相对坐标系；

(5)进行空间物体感兴趣部位的捕获与定位时，选取已得到的特征点或多面体的某一平面作为空间物体的感兴趣部位，供进一步使用。

本发明对空间非合作物体进行近距离接近机动、绕飞、停靠和对接起着至关重要的影响，根据观测星与空间物体由远及近交会的过程，利用观测星的双目可见光成像传感器与激光雷达相结合，将相对距离、相对姿态、空间物体的三维结构以及形心的估计作为一个多尺度递推测量、估计的问题来解决，随着观测星与物体的逐步逼近，各参数的估计精度逐渐增加，错误逐渐减少，可靠性逐渐增加，实时性与准确性均得到保证。可运用于在未知环境下逐渐靠近具有多面体特性的物体过程中的自主图像导航，如：月球巡视探测器的自主巡游；太空中修理失效的卫星时的卫星定位、贴近；空间目标超近距离编队飞行自主图像导航技术中，得到空间目标相对姿态、相对轨道参数等等。

附图说明

图1是本发明处理流程图；

图2是本发明中使用到的摄像机模型；

图3是双目立体视觉系统原理示意图；

图4是一般摄像机配置下的双目立体视觉系统示意图；

图5是双目立体视觉系统下的空间直线投影模型；

图6是本发明中基于光流被动测距实验仿真图像序列中的一帧；

图7是本发明中基于光流被动测距实验接近目标速度随时间的变化曲线；

图8是本发明中基于光流被动测距实验追踪星与目标形心的距离随时间的变化曲线；

图9是本发明中使用的目标星的仿真立体像对，摄像机距目标星20m，基线长0.6m；

图10是本发明中卫星三维空间结构重建结果(距离20m，基线长度为0.6m)；

图11是本发明中使用的一帧卫星仿真图像；

图12是本发明中利用Harris角点检测方法提取的局部极值点；

图13是本发明中利用Hough变换提取的直线边缘信息；

图14是本发明中卫星星标提取的结果；

图15是本发明中相对姿态的估计，并建立关于目标形心的坐标系；

图16是本发明中相对姿态的估计，并建立关于目标某表面的坐标系；

图17是本发明中物体距观测星为110m时，非合作物体角点三维信息估计结果；

图18是本发明中物体距观测星为50m时，非合作物体角点三维信息估计结果；

图19是本发明中物体距观测星为20m时，非合作物体角点三维信息估计结果；

图20是本发明中空间目标星角点三维信息估计误差随距离改变的变化曲线；

具体实施方式

本发明处理流程如图1所示：

(1)在近距离范围内(200m～100m)，空间物体在成像系统的成像平面上成像尺寸小(仅为几个像素到几十个像素)，目标成像的分辨率低，呈现点或斑状特性。此时空间目标星从3D物体点到2D图像平面的投影造成了大量三维信息的损失。通过对可见光成像传感器图像对序列中目标信息的提取进行目标使用小目标检测跟踪方法对空间目标进行捕获定位，估计粗略距离信息，并利用捕获定位信息对激光雷达指向进行调整与定位，测量得到空间物体的相对距离与相对速度；

(2)在超近距离(100m～5m)范围进行空间物体的三维重建。在该距离范围内，空间物体的三维结构特征逐步增强。随着追踪物体与空间物体的逐步逼近，对空间物体的三维结构、形心等三维信息进行提取、估计和逐步精确，使各参数值的精度逐渐增加，错误逐渐减少，估计可靠性逐渐增加。在该过程中，建立追踪物体与空间物体的相对位置和相对姿态。根据实时得到的三维参数，选择其中的形心参数作为空间物体坐标系原点，进行相对姿态相对位置的估计，以方便的建立导航动力学方程，此外利用该信息对激光雷达指向进行调整与定位，测量得到精确的空间物体的距离与速度。

(3)极近距离(5m～0m)的图像导航主要实现追踪物体与空间物体的交会对接。空间物体对接处的三维结构对对接影响变大，需要对局部(目标感兴趣区域)进行精确定位。采用激光雷达进行精确定位，以达到观测星与空间物体的平稳对接。

本发明所依据的基本三维测量原理如下：

三维测量的目的是通过图像上的二维信息，由几何变换求得物体在三维空间中的几何信息，必须建立图像元素与空间物体三维坐标点的映射关系。本发明所使用的摄像机模型如图2所示，图中O_w-X_wY_wZ_w表示世界坐标系，O_c-X_cY_cZ_c表示摄像机坐标系。在摄像机的成像平面上定义直角坐标系u-v是以像素为单位的坐标系，每一像素的坐标(u，v)指明了该像素所在图像数组中的列与行。直角坐标系x-y则是以物理单位表示的图像坐标系。在图2中，P为一空间点，其在世界坐标系下的坐标为(X_w，Y_w，Z_w)，P点在摄像机成像平面上的投影为p，p点在成像平面上的坐标记为(x，y)。若每个像素在x轴与y轴方向上的物理尺寸为dx，dy，则两坐标系坐标有如下关系：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(1\right)$

摄像机坐标系和世界坐标系之间的关系可以通过旋转矩阵R和平移矩阵t来描述：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(2\right)$

其中，R为3*3正交矩阵，t为三维平移向量，向量0＝[0，0，0]^T，M₁为4*4矩阵。

根据几何透视投影原理以及式(1)和式(2)有如下结论：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/\mathrm{dx}& 0& u_0\\ 0& 1/\mathrm{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

      $=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\mathrm{KA}{\tilde{X}}_w=M{\tilde{X}}_w---\left(3\right)$

其中f为摄像机的焦距，α_x＝f/d_x，α_y＝f/dy，M为3*4矩阵，称为投影矩阵。K为摄像机内部参数，A为摄像机外部参数。

①基于点基元的三维信息估计

图3所示为一简单的双目立体视觉系统。O_cl和O_cr分别表示左右摄像机的光学透视中心，它们的光轴Z_cl和Z_cr互相平行，摄像机坐标系X_cl和X_cr轴相互重合，且两摄像机的内部参数相同，X_l和X_r分别为左右摄像机成像平面的横坐标轴。这样右摄像机可以认为是由左摄像机经过X_cl方向平移距离b得到的。O_cl与O_cr之间的连线称为基线，可知其长度为b。将世界坐标系原点O_w置于基线中间，且X_w与X_cl轴相互重合。对于世界坐标系中的点P，若其在左右摄像机成像平面上的投影点的坐标分别为(x_l，y_l)和(x_r，y_r)，则有式(4)成立：

$d=x_l-x_r=\frac{\mathrm{bf}}{Z_w}---\left(4\right)$

反之，如果知道点P的视差d，则可计算其深度坐标：

$Z_w=\frac{\mathrm{bf}}{d}=\frac{\mathrm{bf}}{x_l-x_r}---\left(5\right)$

因此，只要知道两台相机的焦距和相机之间的距离，以及目标在相机上的成像视差，就可以很快算得目标的三维信息。

在一般情况下，双目立体成像系统如图4所示，其中C₁和C₂分别为左右摄像机坐标系。在世界坐标系中的一点P(X_w，Y_w，Z_w)，若其在左右摄像机成像平面上的投影点的坐标分别为p₁(u₁，v₁)和p₂(u₂，v₂)，则由针孔摄像机模型有：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(6\right)$

$Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(7\right)$

式(6)和(7)中，(u₁，v₁)，(u₂，v₂)分别为空间点在左右摄像机成像平面以像素为单位的坐标，(X_w，Y_w，Z_w)为空间点在世界所标系下的空间坐标。我们将世界坐标系定在第一个摄像机上，则得到两个不同位置的摄像机的投影矩阵分别为：

M₁＝K[I|0]

M₂＝K[R|t]                    (8)

式(8)中，K为摄像机内部参数矩阵，R，t分别为摄像机的旋转和平移矩阵。对于投影矩阵M₁和M₂，分别令M₁₁，M₁₂，M₁₃和M₂₁，M₂₂，M₂₃对应于M₁和M₂的行向量， ${\tilde{X}}_w={[X_w,Y_w,Z_w,1]}^T$ 对应于该点在世界坐标系下的其次坐标。根据式(6)～(8)有：

$\left[\begin{array}{c}{M}_{13}{u}_1-M_{11}\\ M_{13}{v}_1-M_{12}\\ M_{23}{u}_2-M_{21}\\ M_{23}{v}_2-M_{22}\end{array}\right]{\tilde{X}}_w=0---\left(9\right)$

求解式(9)，即可得到空间点的三维坐标。

②基于直线基元的三维信息估计

直线和线段作为空间物体的另一明显特征，可作为三维结构分析的另一种基元。如图5所示，已知空间直线S在左右摄像机坐标系C₁和C₂下的空间方程分别为S₁和S₂，在左右摄像机成像平面I₁和I₂上所成的像分别为s₁和s₂，O₁和O₂分别表示左右摄像机的光学透视中心，。假定S在左摄像机坐标系下为：

$\left\{\begin{array}{c}{X}_1={\mathrm{AZ}}_1+P\\ Y_1={\mathrm{BZ}}_1+Q\end{array}\right.(Q\≠0)---\left(10\right)$

根据式(10)得到s₁和s₂的方程分别为：

若s₁和s₂方程已知，分别为：

s₁：x₁-k₁y₁＝m₁                (11)

s₂：x₂-k₂y₂＝m₂                (12)

联立式(10)～式(12)可得：

$\left\{\begin{array}{c}{k}_1=P/Q\\ k_2=(P+b)/Q\\ m_1=f(\mathrm{AQ}-\mathrm{BP})/Q\\ m_2=f[\mathrm{AQ}-B(P+b)]/Q\end{array}\right.---\left(13\right)$

由(13)解出A，B，P，Q(见式(14))，得到直线方程中的参数(适用于Q≠0情况)，即得到空间直线的三维信息。

$\left\{\begin{array}{c}A=\frac{m_1}{f}+\frac{k_1(m_1-m_2)}{f(k_2-k_1)}\\ B=\frac{m_1-m_2}{f(k_2-k_1)}\\ P=\frac{k_{1}b}{k_2-k_1}\\ Q=\frac{b}{k_2-k_1}\end{array}\right.---\left(14\right)$

本发明所依据的基于光流场的深度信息估计原理如下：

成像图像对于场景的运动，可以由其平移速度V＝[V_x V_y V_z]^T和其视线旋转速度ω＝[ω_x ω_y ω_z]^T来定义。对于固定目标P，其在成像坐标系中的科里奥利方程(Coriolis)如下：

$\stackrel{\·}{\mathrm{\ρ}}=-\mathrm{\ω}\×\mathrm{\ρ}-V_c---\left(15\right)$

写成分量形式，则得：

$\left[\begin{array}{c}\stackrel{\·}{X}\\ \stackrel{\·}{Y}\\ \stackrel{\·}{Z}\end{array}\right]=-\left[\begin{array}{ccc}0& -{\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 0& -{\mathrm{\ω}}_x\\ -{\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 0\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)-\left(\begin{array}{c}{V}_x\\ V_y\\ V_z\end{array}\right)---\left(16\right)$

同时，根据几何透视投影原理有式(17)成立，其中f为摄像机的焦距。

$\left\{\begin{array}{c}u=f\frac{X}{Z}\\ v=f\frac{Y}{Z}\end{array}\right.---\left(17\right)$

相机的运动，导致静止点P和其周围在像平面绕p点有一个速度场(或光流)，我们记图像平面的投影为(u，v)，它们的时域微分表示为

(即光流)，p点像平面的速度矢量定义为 $V\left(p\right)={[\stackrel{\·}{u},\stackrel{\·}{v}]}^T,$ 考虑成像几何与仿射变换，结合式(16)和式(17)，推导出：

$\left\{\begin{array}{c}\stackrel{\·}{u}=\frac{-f{V}_x+u{V}_z}{Z}+{\mathrm{\ω}}_x\frac{\mathrm{uv}}{f}-f{\mathrm{\ω}}_y(1+\frac{u^2}{f^2})+v{\mathrm{\ω}}_z\\ \stackrel{\·}{v}=\frac{-f{V}_y+u{V}_z}{Z}-{\mathrm{\ω}}_y\frac{\mathrm{uv}}{f}+f{\mathrm{\ω}}_x(1+\frac{v^2}{f^2})-u{\mathrm{\ω}}_z\end{array}\right.---\left(18\right)$

方程(18)给出光流与目标接近速度V_z以及与目标之间的距离z之间的关系，可称之为光流运动方程。图像膨胀即光流过程需要通过目标在图像序列内的变化的前后图像求取。

本发明所依据的空间物体星标的获取原理如下：

使用Harris角点检测与基于Hough变换的直线检测相结合的星标获取方法。Harris算子是C.Harris和M.J.Stephens在1988年提出的一种基于图像梯度的角点检测算子。它源于Moravec角点检测算子，Moravec角点检测算子首先定义一个局部窗口模板，将这个窗口模板在图像上沿各个方向移动，计算在每个方向上作微小移动后的平均强度变化，然后根据图像在各个移动方向上的平均强度变化来确定角点。

Harris角点检测主要过程：

①首先对要处理的灰度图像中的每个像素点，计算其在水平方向和垂直方向上的梯度，以及二者的乘积，这样可以得到3幅新的图像。3幅图像中的每个像素对应的属性值分别代表Ix，Iy和IxIy。然后对这3幅图像进行高斯滤波，再计算原图像上对应的每个像素点的兴趣值，即R值。

②选取局部极值点。Harris方法认为，特征点是局部范围内的极大兴趣值对应的像素点。因此，在计算完各像素点的兴趣值后，要提取原始图像中所有局部兴趣值最大的点。实际操作中，可依次从以每个像素为中心的窗口区域中提取最大值，如果中心点像素的兴趣值就是最大值，则该像素点就是特征点。

③根据需要提取一定数目的特征点。局部极值点的数目往往很多，可以对所有的极值点排序，根据要求选取兴趣值最大的若干个像素点作为最后的结果。

由于Harris角点检测可能存在坐标的偏移而造成星标估计结果得不精确，再结合物体的直线特征，利用Hough变换检测物体的边，通过各边的交点结合角点检测结果准确定位出空间物体的星标。

本发明所依据的空间物体的相对位置、相对姿态估计原理如下：

观测星与空间物体坐标系之间的关系可以用转动矩阵和平移量来表示，转动矩阵用于确定相对姿态，包括3个角度的变化。平移量确定相对位置，包括3个平移量。因此，用6个变量表达两个坐标之间的相对位置、相对姿态关系。

假设观测星坐标系为O_cX_cY_cZ_c，空间物体坐标系为O_tX_tY_tZ_t。则所求的转动矩阵M为观测星坐标系O_cX_cY_cZ_c在空间物体坐标系O_tX_tY_tZ_t中的转动矩阵，所求的平移量T＝(X_t，Y_t，Z_t)为坐标系O_cX_cY_cZ_c在空间物体坐标系O_tX_tY_tZ_t中的平移量。

在空间物体上选取3个特征光点，就能够完全确定相对位置和姿态。若A，B，C为空间物体上不共线的三个特征光点，则向量AB，BC，AB×BC是不共面的三个向量。对特征光点p＝A，B，C有：

$\left[\begin{array}{c}{X}_t^p\\ Y_t^p\\ Z_t^p\end{array}\right]=M\left[\begin{array}{c}{X}_C^p\\ Y_C^p\\ Z_C^p\end{array}\right]+Tp=A,B,C---\left(19\right)$

$\begin{array}{cc}\left[\begin{array}{c}{X}_t^i-X_t^j\\ Y_t^i-Y_t^j\\ Z_t^i-Z_t^j\end{array}\right]=M\left[\begin{array}{c}{X}_C^i-X_C^j\\ Y_C^i-Y_C^j\\ Z_C^i-Z_C^j\end{array}\right]& A\≤i\≠j\≤C\end{array}---\left(20\right)$

将向量AB，BC，AB×BC分别代入式(20)，即可唯一地确定转动矩阵M。再由式(19)求出平移量T。

在进行深度信息估计实验中，首先通过建模仿真获得三组灰度序列图像，用来描述摄像头分别以匀速、匀加速、匀减速运动沿直线接近空间三维目标时，被观测目标在摄像头中的成像序列图。仿真实验中，我们设定每帧图像之间的时间间隔Δt＝1s，摄像机的焦距f＝1。其中匀速运动灰度序列的初始深度为150m，接近速度为10m/s；匀加速直线运动的初始深度150m，初速度5m/s，加速度0.5m/s²；匀减速直线运动的初始深度150m，初速度15m/s，加速度-0.8m/s²。在图像序列中检测并跟踪图像中的角点，得到角点在时变图上的光流场。将每一特征点的光流场信息和深度信息带入式(18)中，解出目标的运动参数。其中，目标的初始深度Z₀已经由外部提供(通过激光雷达和双目可见光像机)方法获得，当解出目标的运动参数后，可以计算出空间物体的实时距离。

图6为仿真图像序列中的一帧，图7为接近目标速度VZ随时间的变化曲线，其中实线为实验中物体实际相对速度，虚线为估计得到的物体相对速度；图8为离目标形心的距离随时间的变化曲线，其中实线为实验中物体实际相对距离，虚线为估计得到的物体相对距离。从实验可看出，基于光流场的深度信息方法可以实时估计物体相对速度和相对距离，实时性强，适用于近距离范围内的深度信息估计。

图9所示为实验使用的仿真卫星图像像对序列中的一对图像，(a)为左视图，(b)为右视图。仿真实验中，仿真图像大小为674*618，α_x＝f/dx＝α_y＝f/dy＝810，两摄像机的基线长度为0.6m。

图10为图9(a)中卫星三维空间结构重建结果，卫星外轮廓实线是真实的卫星三维结构，外轮廓虚线是估计的结果，“·”为实际形心，“+”为估计得到的形心。实际形心坐标(0.0311，0.1300，19.9144)，估计形心坐标(-0.0150，-0.0238，19.9693)。

图11为一卫星仿真图像，针对该图像进行星标的提取。图12为利用Harris角点检测提取的角点，图13为利用Hough变换提取出的图像中的直线边缘。图14为结合图12与图13的检测结果得到的星标提取结果。实验中，将角点检测和边缘特征相结合，可以提高角点检测的精度，更好地提取出目标星的星标。

如图15所示，空间物体坐标原点选在目标星的形心，建立坐标系。O_t-X_t，Y_t，Z_t是观测星坐标系，O_c-X_C，Y_C，Z_C是空间物体坐标系，虚线是估计的空间物体坐标系，实线是真实的空间物体坐标系。

实际转移矩阵

$M=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$   $T=\left[\begin{array}{c}-0.012622\\ -0.13188\\ -15.847\end{array}\right]$

估计得到的空间点计算的转移矩阵

$M_t=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$   $T_t=\left[\begin{array}{c}0.0092843\\ 0.021829\\ -15.788\end{array}\right]$

如图16所示，空间物体坐标原点选在目标星的表面某点，建立坐标系。O_t-X_t，Y_t，Z_t是观测星坐标系，O_c-X_C，Y_C，Z_C是空间物体坐标系，虚线是估计的空间物体坐标系，实线是真实的空间物体坐标系。

实际转移矩阵

$M=\left[\begin{array}{ccc}-0.1213& 0.7907& -0.6001\\ -0.9590& -0.2493& -0.1347\\ -0.2561& 0.5591& 0.7885\end{array}\right]$   $T=\left[\begin{array}{c}10.5541\\ 2.2405\\ -12.0737\end{array}\right]$

估计得到的空间点计算的转移矩阵

$M_t=\left[\begin{array}{ccc}-0.0816& 0.8082& -0.5833\\ -0.9654& -0.2095& -0.1552\\ -0.2476& 0.5504& 0.7973\end{array}\right]$   $T_t=\left[\begin{array}{c}10.3338\\ 2.5881\\ -12.1816\end{array}\right]$

图17、图18、图19分别是仿真实验中不同距离时空间物体角点三维信息估计结果。该仿真实验中，仿真图像大小为674×618，仿真图像α_x＝f/dx＝α_y＝f/dy＝810，两摄像机的基线长度为0.6m，横坐标为物体上角点的编号共取16个角点。

图17为物体距观测星距离110m时的空间物体角点三维信息估计结果，其中(a)为空间物体角点X坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(b)为空间物体角点Y坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(c)为空间物体角点Z坐标实际值与重建值比较图：“·”为实际值，“o”为重建值。

图18为物体距观测星距离50m时的空间物体角点三维信息估计结果，其中(a)为空间物体角点X坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(b)为空间物体角点Y坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(c)为空间物体角点Z坐标实际值与重建值比较图：“·”为实际值，“o”为重建值。

图19为物体距观测星距离20m时的空间物体角点三维信息估计结果，其中(a)为空间物体角点X坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(b)为空间物体角点Y坐标实际值与重建值比较图：“·”为实际值，“o”为重建值；(c)为空间物体角点Z坐标实际值与重建值比较图：“·”为实际值，“o”为重建值。

图20是仿真实验中不同距离时空间物体特征点重建误差随距离改变的变化曲线，其中横坐标表示特征点编号，纵坐标表示不同距离下空间各特征点的重建误差。计算式为： $\mathrm{\σ}={(\underset{i=A}{\overset{P}{\mathrm{\Σ}}}{|P1\left(i\right)-P2\left(i\right)|}^2/16)}^{1/2}$

其中|P1(i)-P2(i)|表示第i点的实际空间位置和重建后的空间位置之间的距离。

从仿真实验结果看出，在摄像机焦距不变、基线长度不变的情况下，随着整个靠近的过程，重建误差是收敛的。但是从图13(a)和图13(b)可看出基于角点的三维结构估计的精度比较低，这是因为在距离较远时摄像机得到的图像的分辨率低，三维信息损失严重。随着距离的接近，到20m范围内重建的三维结构的误差大大降低，重建精度比较高。这只是利用图像的方法进行三维结构分析的结果。在实际系统中，在距离较远时可用从图像中估计得到的三维信息作为粗略估计，利用该信息控制激光雷达在粗略的范围内进一步精确定位，在保证三维信息估计的实时性同时提高估计的精度。

Claims (3)

1.一种空间非合作物体三维信息的获取方法，用于观测星与空间非合作物体近距离接近过程，顺序包括：

第一步.近距离物体估计处理步骤，与物体距离200m～100m，其子步骤为：

1.1.采用可见光成像探测器获取双目立体图像对序列，分别对立体图像对序列中的空间物体进行捕获与定位；

1.2.估计空间物体粗略距离信息；

1.3.根据所述子步骤1.1的结果，对激光雷达指向进行调整与定位，测量空间物体的相对距离与相对速度；

第二步.超近距离物体估计处理步骤，与物体距离100m～5m，其子步骤为：

2.1.根据可见光成像探测器当前得到的图像信息，将所述子步骤1.2得到的物体粗略距离信息和子步骤1.3得到的空间物体相对距离与相对速度作为初始量，进行空间物体的深度信息估计；

2.2.进行空间物体的三维重建，对非遮挡表面和遮挡表面进行定位；

2.3.估计物体的形心；

2.4.估计物体的相对位置和相对姿态；

2.5.进行物体感兴趣部位的捕获与定位；

2.6.根据所述子步骤2.5的结果，对激光雷达指向进行调整与定位，测量空间物体的相对距离与相对速度，输出到控制系统；

第三步.极近距离物体估计处理步骤，与物体距离5m～0m，其过程为：

根据可见光成像探测器当前得到的图像信息，结合所述子步骤2.5、子步骤2.6的结果，对激光雷达进行指向调整与定位，使用激光雷达进行激光测距与测速，得到空间非合作物体的相对姿态和相对位置参数，输出到控制系统。

2.如权利要求1所述的空间非合作物体三维信息的获取方法，其特征在于，所述近距离物体估计处理步骤中：

所述子步骤1.1中，对立体图像对序列中的空间物体进行捕获与定位时，使用小目标检测跟踪方法对呈现点状或斑状特性的近距离空间物体进行捕获定位；

所述子步骤1.2中，估计物体粗略距离信息时，利用三维测量原理对双目立体图像对序列中的空间物体进行距离的粗略估计。

3.如权利要求1或2所述的空间非合作物体三维信息的获取方法，其特征在于，所述超近距离目标估计处理步骤中：

所述子步骤2.1中，进行空间物体的深度信息估计时，使用基于光流的被动测距方法，利用从仿射变换矩阵近似得到的光流散度来提取深度信息；

所述子步骤2.2中，进行空间物体的三维重建，对其非遮挡表面进行定位时，过程为：

2.2.1.提取空间物体角点和边作为特征基元；

2.2.2.利用三维测量原理估计空间物体特征基元的三维信息；

2.2.3.根据各特征基元的三维信息确定空间物体各条边和各个平面，定位出空间物体表面；

对空间物体的遮挡表面定位时，观测星相对于空间物体绕飞，绕飞至空间物体遮挡表面显现后，根据过程2.2.1～2.2.3完整重建物体遮挡表面；

所述子步骤2.3中，估计空间物体的形心时，利用重建空间物体的三维信息计算其形心；

所述子步骤2.4中，估计空间物体的相对位置和相对姿态时，通过建立观测星与空间物体的相对坐标系实现，建立两种不同坐标系供外部控制系统选择使用：选取空间物体形心作为相对坐标系原点建立相对坐标系；或者获得空间物体上若干个星标，并在星标所在的表面上建立相对坐标系；

所述子步骤2.5中，进行空间物体感兴趣部位的捕获与定位时，选取已得到的特征点或多面体的某一平面作为空间物体的感兴趣部位，供进一步使用。

Images