CN106447725A - 基于轮廓点混合特征匹配的空间目标姿态估计方法 - Google Patents

Abstract

本发明涉及一种基于轮廓点混合特征匹配的空间目标姿态估计方法，属于数字图像处理技术领域。本发明在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用混合特征匹配建立从输入图像到目标三维模型的2D‑3D特征对应关系，并通过迭代的方式同步完成特征对应关系的确定和目标三维姿态参数的估计。通过构造轮廓点的混合特征向量并调整位置分量与曲率分量的权重系数，更准确地反映特征空间的结构，从而提高了算法的适用范围，即便初始姿态与真实姿态相差较大，算法依然具有较高的精确性；对投影图像轮廓点进行筛选，减小计算复杂度，执行速度较快，具有较高的效率，能够满足实时性要求。

Description

基于轮廓点混合特征匹配的空间目标姿态估计方法

技术领域

本发明涉及三维立体视觉的数字图像处理技术领域，具体涉及一种基于轮廓点混合特征匹配的空间目标姿态估计方法。

背景技术

近年来，光学成像系统在空间目标上的应用十分广泛，许多实际功能如自动交会对接、在轨自服务等都需要确定空间目标的姿态参数，因此将姿态估计方法应用于空间目标是有迫切需求的。另一方面，随着高质量光学成像系统的快速发展，包含更多空间目标细节信息的图像数据可以用来作为姿态估计的输入，有利于提高姿态估计的精度。

完整的姿态估计方法需要解决两方面的问题：首先需要确定从输入图像到目标三维模型的特征对应关系，然后基于对应关系对投影误差函数进行优化实现对目标姿态参数的估计。对于后一问题，国内外学者已经提出了很多有效的算法；而针对于前一问题，即如何确定输入图像到目标三维模型的特征对应关系，目前的姿态估计算法大致可以分为三类：(1)第一类方法直接将姿态估计问题分为两个子问题，首先通过提取特征点、特征线或是特征区域，在二维图像和三维模型之间以特征匹配的方式建立对应关系，再基于得到的对应关系进行姿态参数的估计。这类方法只适用于一些限定的应用场景，而在无约束的三维环境下，没有哪一种特征提取算子是完全稳定和可靠的。(2)第二类方法借助于图像识别的方式来回避建立2D-3D特征对应关系的问题。该类方法预先生成一些目标三维模型不同姿态下的投影图像，然后以某种标准计算输入图像与预先生成的投影图像的相似度，以相似度最高的投影图像所对应的姿态作为目标的姿态结果。这类方法可以粗略地估计姿态参数，但由于不存在严格的投影对应关系方程，因此无法得到目标姿态参数的准确估计值，而且预先生成的投影轮廓数量会随着姿态估计参数精度要求的提高而呈指数级增长。(3)第三类方法采用迭代机制来同时确定特征对应关系并估计姿态参数。与前两类方法对比，第三类方法的优势在于不依赖于特征提取算子的能力并且不需要预先生成大量投影图像，因此也是目前姿态估计问题研究的热点。但采用迭代机制的方法也有共同的缺点就是会受到算法收敛速度和收敛半径的限制，并且初始值往往对算法效果影响较大。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何以较小的计算量、较快的运行速度、较高的精确度实现空间目标姿态估计。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于轮廓点混合特征匹配的空间目标姿态估计方法，包括以下步骤：

步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；

步骤2、根据空间目标的位置姿态确定投影图像；

步骤3、对输入图像和投影图像进行预处理，并提取轮廓；

步骤4、根据投影时的颜色信息对投影图像轮廓点进行筛选；

步骤5、分别构造输入图像轮廓与投影图像轮廓的轮廓点混合特征向量；

步骤6、基于轮廓点的混合特征匹配建立输入图像轮廓和投影图像轮廓之间的2D-2D点对应关系；

步骤7、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系；

步骤8、基于输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系解算姿态参数；

步骤9、根据终止条件判断是当前输出姿态参数还是返回步骤2进行下一次迭代计算。

优选地，步骤4中根据投影时的颜色信息对投影图像轮廓点进行筛选时使用三维模型中的顶点三维坐标进行计算。

优选地，步骤5具体为：轮廓点混合特征由像素点位置和曲率组成，通过式(1)构造轮廓点的混合特征向量：

f＝(f₁,f₂,f₃)^T＝(ω₁x,ω₂y,ω₃k)^T (1)

其中，f₁,f₂,f₃表示特征分量，x，y分别表示输入图像轮廓或投影图像轮廓的轮廓点的横、纵坐标，k是轮廓曲线在对应轮廓点处的曲率，ω₁,ω₂,ω₃是权重系数，权重系数的确定方式为：当输入图像轮廓与投影图像轮廓所对应的姿态相差小于或等于一定值时，仅使用轮廓点的横、纵坐标特征建立点对应关系；当输入图像轮廓与投影图像轮廓所对应的姿态相差大于所述一定值时，依靠轮廓点的横、纵坐标和曲率特征建立点对应关系。

优选地，步骤6中以混合特征向量空间欧式距离最小为准则建立输入图像轮廓到投影图像轮廓之间的2D-2D点对应关系。

(三)有益效果

本发明以在未给定任何先验特征对应关系情况下基于单目视觉的空间目标姿态估计为研究对象，提出了基于轮廓点混合特征匹配的空间目标姿态估计方法。在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用混合特征匹配建立从输入图像到目标三维模型的2D-3D特征对应关系，并通过迭代的方式同步完成特征对应关系的确定和目标三维姿态参数的估计。通过构造轮廓点的混合特征向量并调整位置分量与曲率分量的权重系数，更准确地反映特征空间的结构，从而提高了算法的适用范围，即便初始姿态与真实姿态相差较大，算法依然具有较高的精确性；对投影图像轮廓点进行筛选，减小计算复杂度，执行速度较快，具有较高的效率，能够满足实时性要求。

附图说明

图1为本发明实施例的方法流程框图；

图2为本发明实施例的方法的实验效果图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明实施例提出的基于轮廓点混合特征匹配的空间目标姿态估计方法具体实现流程如图1所示，各部分具体实施细节如下：

步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像。其中三维模型需要包含空间目标的顶点坐标以及结构信息，不需要材质和纹理信息。输入的单目图像为灰度图像，相面中空间目标所占区域大小约为单目图像大小的十分之一。

步骤2、根据空间目标的位置姿态确定投影图像。利用OpenGL仿真成像系统模拟相机成像过程，忽略了相机的畸变等因素的影响。首先从输入的三维模型中读取顶点坐标及其对应的法向量，以三角面片的形式在OpenGL仿真成像系统中重建出空间目标的三维结构，再由空间目标的姿态参数确定其相对于相机的旋转量和平移量，从而得到投影图像。首次迭代过程的初始位置姿态可以在一定范围内随机选择，在之后的迭代过程中每一次迭代的初始位置姿态是上一次迭代的计算结果。

步骤3、对输入图像和投影图像进行预处理，并提取轮廓。预处理包括平滑去噪，形态学滤波消除孔洞。预处理之后提取输入图像与投影图像的外部轮廓，所得到的轮廓为单像素宽的连续曲线。

步骤4、根据投影时的颜色信息对投影图像轮廓点进行筛选。在利用OpenGL仿真成像系统对投影图像进行渲染时，为三维模型的每一个顶点赋予不同的RGB颜色值，将OpenGL的颜色模式设置为渐变模式，则位于两个顶点之间的轮廓点的RGB颜色值是根据到相邻两个顶点的距离通过线性插值计算得到的。在本发明方法的实现中，轮廓点的index值按照下式计算得到：

index＝R·65536+G·256+B

其中R、G、B分别表示红、绿、蓝三种颜色值。由于顶点的index值为十的倍数，这样根据投影图像点的RGB颜色值计算出index值，通过判断其是否是十的倍数就可以找到对应于三维模型顶点的轮廓点。通过对轮廓点进行筛选可以大大减少算法的计算量，加快算法的计算速度，并且使用三维模型中准确度最高的顶点三维坐标进行计算，避免了通过插值运算计算投影图像轮廓点反向投影时所对应的三维坐标，有利于提高本发明方法的计算精度。

步骤5、分别构造输入图像轮廓与投影图像轮廓的轮廓点混合特征向量。在本方法中，轮廓点的混合特征由像素点位置和曲率组成。通过下式构造轮廓点的混合特征向量：

f＝(f₁,f₂,f₃)^T＝(ω₁x,ω₂y,ω₃k)^T (1)

其中，f₁,f₂,f₃表示特征分量，x，y分别表示输入图像轮廓或投影图像轮廓的轮廓点的横、纵坐标，k是轮廓曲线在对应轮廓点处的曲率。由于数字图像中的轮廓是离散的像素点，难以计算某一点处的曲率，因此作为变通，选择USAN值代表曲率特征。USAN值描述的是以轮廓点为中心的圆形模板中轮廓内的点数量与轮廓外的点数量的比值，它实现方式简单并且具有旋转不变性。ω₁,ω₂,ω₃是权重系数，可以通过改变权重系数来修改特征分量间的相互影响以更准确地反映特征空间的结构。当输入图像轮廓与投影图像轮廓所对应的姿态相差较小时，仅使用轮廓点的横、纵坐标特征就可以建立较为准确的点对应关系(通过实验证实，当输入图像轮廓与投影图像轮廓所对应的姿态的欧拉角相差小于或等于15度时，仅使用轮廓点的横、纵坐标特征就可以建立较为准确的点对应关系)；但是当输入图像轮廓与投影图像轮廓所对应的姿态相差较大时，仅依靠轮廓点的横、纵坐标特征则较难建立准确的点对应关系，此时需要凸显曲率特征的作用(通过实验证实，当输入图像轮廓与投影图像轮廓所对应的姿态的欧拉角相差大于15度时，需要凸显曲率特征的作用)。在算法实现过程中，令轮廓点横、纵坐标特征的权重系数为1，则曲率特征的权重系数选择既要足够大(取6-8之间)，使得其在输入图像轮廓与投影图像轮廓所对应的姿态相差较大时也能建立准确的匹配关系；又要保证其在输入图像轮廓与投影图像轮廓所对应的姿态相差较小时不会掩盖轮廓点的横、纵坐标特征的作用。

步骤6、基于轮廓点的混合特征匹配建立输入图像轮廓和投影图像轮廓之间的2D-2D点对应关系。设C_i表示输入图像轮廓点的混合特征向量的集合，C_p表示投影图像轮廓点的混合特征向量的集合。给定一个筛选得到的投影图像轮廓点F的混合特征向量f＝(f₁,f₂,f₃)^T，则它在输入图像轮廓上的对应点F'的混合特征向量f'＝(f₁',f₂',f₃')^T可以描述如下：

J表示输入图像轮廓点上任意一个轮廓点，j表示输入图像轮廓点上任意一个轮廓点的混合特征向量，上式以混合特征向量空间欧式距离最小为准则建立输入图像轮廓到投影图像轮廓之间的2D-2D点对应关系。

步骤7、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系。步骤6可以得到输入图像轮廓到投影图像轮廓之间的2D-2D点对应关系，本步骤再以投影图像像素点的RGB颜色值作为索引，找到与之对应的空间目标三维模型的顶点。由此可以建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系。

步骤8、基于输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系解算姿态参数。本步骤采用正交迭代算法解决已知2D-3D点对应关系情况下的姿态估计问题，算法的思路是构建三维点到图像点对应视线的距离误差函数，通过迭代地最小化误差函数得到旋转矩阵和平移向量。假设由上文所述建立2D-3D点对应关系的方法可以得到n对2D-3D对应点，x_p表示图像平面上的二维点，x_v表示物体坐标系下的三维点坐标。则设第i对2D-3D对应点之间的误差可以表示为：

其中x_vi是第i对2D-3D对应关系中的三维点在物体坐标系下的三维坐标，是第i个图像二维点的视线投影矩阵，I为单位矩阵，R为旋转矩阵，t为平移向量，定义如下：

x_pi是第i对2D-3D对应关系中的三维点在图像平面坐标系下的二维坐标，取优化目标函数为所有2D-3D对应点对的误差平方和：

可以看出优化目标函数是平移向量t的二次函数，因此对于一个给定的旋转矩阵R，平移向量t的最优值可以直接计算得到：

由(6)式可知平移向量t的最优值是旋转矩阵R的函数，则将优化目标函数改写为：

现在优化目标函数只有一个变量即旋转矩阵R，可以求得最优解。可以利用SVD分解迭代地求解旋转矩阵R的最优值。

下面描述利用SVD分解迭代地求解旋转矩阵R的最优值的过程：

为描述方便起见，将三维点在图像点对应视线上的投影点定义为q，则有：

则三维点集{x_vi}和{q_i(R)}之间的协方差矩阵M(R)为：

其中：

旋转矩阵R可以迭代地计算得到，具体过程如下：首先假设第k’次迭代计算出的旋转矩阵R的值为R^(k')，则有：

旋转矩阵R的下一个计算值，R^(k'+1)，由下式确定：

设(U,S,V)是协方差矩阵M的一个SVD分解，即M＝USV^T，那么式(14)的解为：

R^(k+1)＝VU^T (15)

最终可以得到优化目标函数的最优解为：

结合利用式(6)确定的平移向量t的最优值，则得到了六自由度的姿态参数。

步骤9、根据终止条件判断是当前输出姿态参数还是进行下一次

迭代计算。为了度量迭代收敛结果的好坏，定义相似度函数为:

其中C_in表示从输入图像提取得到的二值图像，C_pr表示从投影图像提取出的二值图像。area()表示求出二值图像的像素值为1的区域的面积(单位是像素个数),表示异或操作。如果姿态估计结果(当前输出姿态参数)接近目标的真实姿态，那么经过异或操作之后的值应该接近于0。如果Judgement值小于预设阈值或迭代次数超过预设限制，则输出姿态参数作为最终结果；否则进行下一次迭代计算。

可以看出，本发明采用基于轮廓的姿态估计方法属于采用迭代机制来同时确定特征对应关系并估计姿态参数的方法。该方法通过在输入图像轮廓与空间目标三维模型之间建立2D-3D点对应关系，利用基于点特征对应的姿态估计算法迭代地解算姿态参数。现有算法在建立输入图像轮廓与投影图像轮廓之间的2D-2D点对应关系时是采用距离图匹配的方法，即对于投影图像轮廓上的每一个点，选取输入轮廓上与其欧氏距离最近的点作为其匹配点，其在输入图像与投影图像相似度较高时比较适用，但当两者相差较大时，仅利用轮廓点位置信息的距离图匹配方法难以取得好的匹配效果。而本发明采用轮廓点的混合局部特征代替距离图建立2D-3D点对应关系。由于距离图只利用了轮廓点的最基本的位置信息，因此本发明的方法构建更高维的特征向量进行匹配，能够提高对应关系的准确性并且对平移量的影响具有一定的鲁棒性。

现有算法为投影图像上的所有轮廓点都找出输入图像轮廓上的对应点建立2D-2D点对应关系，再通过插值运算将投影图像轮廓点映射到三维空间。该方法计算量大，而且由于涉及插值运算会引入计算误差。为了避免插值运算，本发明选择目标三维模型中给出具有准确三维坐标值的顶点，找到其在输入图像轮廓上的对应点建立2D-3D点对应关系。这样处理可以减少算法的计算量并避免插值运算带来的误差。本发明的实验结果如图2所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于轮廓点混合特征匹配的空间目标姿态估计方法，其特征在于，包括以下步骤：

步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；

步骤2、根据空间目标的位置姿态确定投影图像；

步骤3、对输入图像和投影图像进行预处理，并提取轮廓；

步骤4、根据投影时的颜色信息对投影图像轮廓点进行筛选；

步骤5、分别构造输入图像轮廓与投影图像轮廓的轮廓点混合特征向量；

步骤6、基于轮廓点的混合特征匹配建立输入图像轮廓和投影图像轮廓之间的2D-2D点对应关系；

步骤7、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系；

步骤8、基于输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系解算姿态参数；

步骤9、根据终止条件判断是当前输出姿态参数还是返回步骤2进行下一次迭代计算。

2.如权利要求1所述的方法，其特征在于，步骤4中根据投影时的颜色信息对投影图像轮廓点进行筛选时使用三维模型中的顶点三维坐标进行计算。

3.如权利要求1所述的方法，其特征在于，步骤5具体为：轮廓点混合特征由像素点位置和曲率组成，通过式(1)构造轮廓点的混合特征向量：

f＝(f₁,f₂,f₃)^T＝(ω₁x,ω₂y,ω₃k)^T (1)

其中，f₁,f₂,f₃表示特征分量，x，y分别表示输入图像轮廓或投影图像轮廓的轮廓点的横、纵坐标，k是轮廓曲线在对应轮廓点处的曲率，ω₁,ω₂,ω₃是权重系数，权重系数的确定方式为：当输入图像轮廓与投影图像轮廓所对应的姿态相差小于或等于一定值时，仅使用轮廓点的横、纵坐标特征建立点对应关系；当输入图像轮廓与投影图像轮廓所对应的姿态相差大于所述一定值时，依靠轮廓点的横、纵坐标和曲率特征建立点对应关系。

4.如权利要求1或2或3所述的方法，其特征在于，步骤6中以混合特征向量空间欧式距离最小为准则建立输入图像轮廓到投影图像轮廓之间的2D-2D点对应关系。