CN107679537B - 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 - Google Patents

Abstract

本发明提供了一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，属于数字图像处理技术领域。本发明在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用ORB特征匹配和颜色索引建立从输入图像到目标三维模型的2D‑3D特征对应关系，并利用匹配误差构造置信概率矩阵，提出加权的正交投影算法解算无纹理空间目标的六自由度姿态参数。ORB特征提高了轮廓点匹配的准确性并且在初始姿态相对真实姿态有较大偏移的情况下仍具有一定的鲁棒性；本发明充分发掘建立2D‑3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC算法剔除误匹配点，提高算法的计算效率和精度。

Description

一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计 算法

技术领域

本发明涉及三维立体视觉的数字图像处理技术领域，尤其是涉及一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法。

背景技术

近年来，光学成像系统在空间目标上的应用能十分广泛，许多实际功能如自动交会对接、在轨自服务等都需要确定空间目标的姿态参数，因此将姿态估计方法应用于空间目标是有迫切需求的。另一方面，随着高质量光学成像系统的快速发展，包含更多空间目标细节信息的图像数据可以用来作为姿态估计的输入，有利于提高姿态估计的精度。

完整的姿态估计方法需要解决两方面的问题：首先需要确定从输入图像到目标三维模型的特征对应关系，然后基于对应关系对投影误差函数进行优化实现对目标姿态参数的估计。对于后一问题，国内外学者已经提出了很多有效的算法；而针对于前一问题，即如何确定输入图像到目标三维模型的特征对应关系，目前的姿态估计算法大致可以分为三类：(1)基于几何的方法直接将姿态估计问题分为两个子问题，首先通过提取特征点、特征线或是特征区域，在二维图像和三维模型之间以特征匹配的方式建立对应关系，再基于得到的对应关系进行姿态参数的估计。这类方法只适用于一些限定的应用场景，而在无约束的三维环境下，没有哪一种特征提取算子是完全稳定和可靠的。(2)基于表观的方法借助于图像识别的方式来回避建立2D-3D特征对应关系的问题。该类方法预先生成一些目标三维模型不同姿态下的投影图像，然后以某种标准计算输入图像与预先生成的投影图像的相似度，以相似度最高的投影图像所对应的姿态作为目标的姿态结果。这类方法可以粗略地估计姿态参数，但由于不存在严格的投影对应关系方程，因此无法得到目标姿态参数的准确估计值，而且预先生成的投影轮廓数量会随着姿态估计参数精度要求的提高而呈指数级增长。 (3)迭代方法采用迭代机制来同时确定特征对应关系并估计姿态参数。与前两类方法对比，第三类方法的优势在于不依赖于特征提取算子的能力并且不需要预先生成大量投影图像，因此也是目前姿态估计问题研究的热点。但采用迭代机制的方法也有共同的缺点就是会受到算法收敛速度和收敛半径的限制，并且初始值往往对算法效果影响较大。

因此，如何提高姿态参数的计算精度以及提高计算效率是本领域技术人员亟需解决的问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提高计算精度和计算效率实现空间目标姿态估计。

(二)技术方案

为了实现上述目的，本发明提供了一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，包括以下步骤：

步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型中包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；

步骤2、根据三维模型确定在不同视角下的空间目标投影图像库；

步骤3、从空间目标投影图像库中选出与输入图像最相似的投影图像集合，即最相似图集；

步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓；

步骤5、基于轮廓点的ORB特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系；

步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D 点对应关系；

步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W；

步骤8：结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数；

步骤9、根据终止条件判断当前输出姿态参数还是返回步骤2进行下一次迭代计算。

优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤2是以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合，首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色，然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：

其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量。选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合即最相似图集。

优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤5中是通过将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系，并利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵，由单应矩阵可以计算得到第j张投影图像的第q个轮廓点(x_jq,y_jq)在输入图像上的对应点坐标(x_jq',y_jq')，“-”表示在齐次意义下相等，m代表最相似图集中投影图像的数量。

根据公式(2)可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：

Q_j代表第j张投影图像的轮廓点个数，是输入图像上与(x_jq,y_jq)匹配的点，(x_jq',y_jq')是通过(2)式计算得到。

优选的，在上述一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法中，所述步骤7基于投影图像与输入图像匹配准确度构造置信概率矩阵W。 W是n×n的对角矩阵，如公式(4)：

其中n为2D-3D对应点的数量，对角线元素ω_j为第j对2D-3D对应点的置信概率；由于通过步骤7得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率；本算法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率；计算聚类得分的具体公式如下：

ω_j＝α_j×ln(e-β_j)×γ_j,j＝1,2,...,N_cluster (5)

其中N_cluster代表二维点聚类数目，α_j、β_j和γ_j的计算公式分别如下：

其中radius代表聚类半径，p_i代表聚类中二维点的坐标，p_center代表聚类中心点坐标，c_j代表第j个聚类中二维点的数量。

(三)有益效果

本发明有效的结合了基于几何、表观、迭代三种方法的优点，采用基于轮廓点ORB特征匹配的无纹理空间目标姿态估计；首先以Hu矩作为相似性测度选出与输入图像最相似的若干张投影图像，然后通过轮廓点的ORB特征匹配在输入图像轮廓与空间目标三维模型之间建立2D-3D点对应关系，并根据ORB特征匹配准确度构造2D-3D对应点的置信概率，最后基于置信概率矩阵对正交投影算法做出改进，提出加权的正交投影算法，迭代地解算无纹理空间目标的六自由度姿态参数。

因此本发明充分发掘建立2D-3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC算法剔除误匹配点，同时采用ORB特征匹配的方法在输入图像轮廓与投影图像轮廓之间建立匹配关系，对旋转、平移和尺度变化均具有一定的鲁棒性；并结合置信概率矩阵对正交投影算法做出改进，提出了加权正交投影算法，提升了姿态参数的计算精度和计算效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明基于轮廓点ORB特征匹配的姿态估计算法流程图；

图2为本发明具体实现流程图；

图3为本发明算法与传统姿态估计算法效果对比图。

具体实施方式

为了使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细的描述。

本发明实施例提出的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法具体实现流程如图1和图2所示，各部分具体实施细节如下：

步骤1、输入是空间目标的三维模型和待估计姿态下所成单目图像。其中三维模型需要包含空间目标的顶点坐标以及结构信息，不需要材质和纹理信息。输入单目图像为灰度图像，相面中空间目标所占区域大小约为图像大小的十分之一。

步骤2、根据三维模型生成空间目标在不同视角下的投影图像库。利用 OpenGL仿真成像系统模拟相机成像过程，忽略了相机的畸变等因素的影响。首先从输入的三维模型中读取出顶点坐标及其对应的法向量，以三角面片的形式在OpenGL仿真成像系统中重建出空间目标的三维结构。三维模型的旋转由三个欧拉角(俯仰角，偏航角和滚转角)表示，对这三个欧拉角分别在(-90°,90°) 范围内等间隔采样，生成不同旋转视角下的空间目标投影图像，构成空间目标投影图像库。

步骤3、以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合。首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色。然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：

其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量。选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合，下文中简称“最相似图集”。

步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓。预处理包括平滑去噪，形态学滤波消除孔洞。预处理之后提取输入图像与投影图像的外部轮廓，所得到的轮廓为单像素宽的连续曲线。

步骤5、基于轮廓点的ORB(Oriented FAST and Rotated BRIEF)特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系。将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵。由单应矩阵可以计算得到第j张投影图像的第q个轮廓点 (x_jq,y_jq)在输入图像上的对应点坐标(x_jq',y_jq')，“-”表示在齐次意义下相等，m代表最相似图集中投影图像的数量。

根据(2)式可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：

Q_j代表第j张投影图像的轮廓点个数，是输入图像上与(x_jq,y_jq)匹配的点，(x_jq',y_jq')是通过(2)式计算得到。

步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D 点对应关系。以投影图像轮廓像素点的RGB颜色值作为索引，可以找到与之对应的空间目标三维模型的顶点；再利用步骤5得到的从投影图像映射到输入图像的单应矩阵，根据式(2)可以计算得到投影图像轮廓点对应的输入图像对应点。由此可以建立输入图像到空间目标三维模型之间的2D-3D点对应关系。由于最相似图集中的投影图像也具有较大的相似度，所以同一个三维顶点很有可能在多张投影图像中出现，而通过多张投影图像的单应矩阵计算得到的输入图像上的对应点坐标一般不相同，所以会得到多对一的2D-3D对应关系。

步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W。W是n×n 的对角矩阵，形如式(4)：

其中n为2D-3D对应点的数量，对角线元素ω_j为第j对2D-3D对应点的置信概率。由于通过步骤7得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率。本专利方法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小(式(3)) 给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率。计算聚类得分的具体公式如下：

ω_j＝α_j×ln(e-β_j)×γ_j,j＝1,2,...,N_cluster (5)

其中N_cluster代表二维点聚类数目，α_j、β_j和γ_j的计算公式分别如下：

其中radius代表聚类半径，p_i代表聚类中二维点的坐标，p_center代表聚类中心点坐标，c_j代表第j个聚类中二维点的数量。

步骤8、结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数。正交迭代算法的思路是构建三维点到图像点所在视线的距离误差函数，通过迭代地最小化误差函数得到旋转矩阵和平移向量。假设由上文所述建立2D-3D点对应关系的方法可以得到n对2D-3D 对应点，x_p表示图像平面上的二维点，x_v表示物体坐标系下的三维点坐标。则第i对2D-3D对应点之间的误差可以表示为：

其中是第i个图像二维点的视线投影矩阵，定义如下：

取优化函数为所有2D-3D对应点对的误差平方和：

可以看出优化目标函数是平移向量t的二次函数，因此对于一个给定的旋转矩阵R，平移向量t的最优值可以直接计算得到：

由(12)式可知平移向量t的最优值是旋转矩阵R的函数，则将优化目标函数改写为：

现在优化目标函数只有一个变量旋转矩阵R，可以求得最优解。利用SVD 分解迭代地求解旋转矩阵R的最优值。为描述方便起见，将三维点在图像点对应视线上的投影点定义为q，则有：

则三维点集{x_vi}和{q_i(R)}之间的协方差矩阵M(R)为：

其中：

设(U,S,V)是协方差矩阵M的一个SVD分解，即M＝USV^T，那么旋转矩阵的最优解为：

R^*＝UV^T (20)

再利用式(12)确定平移向量t的最优值，则得到了六自由度的姿态参数。

步骤9、根据终止条件判断输出姿态参数或是进行下一次迭代计算。由计算得到的六自由度姿态参数利用OpenGL仿真成像系统生成该视角下的投影图像，并采用步骤5中的ORB特征匹配和计算匹配误差方法衡量姿态结果的准确程度。如果新生成的投影图像的匹配误差比最相似图集中投影图像的匹配误差大，则终止计算，以匹配误差最小的投影图像所对应的六自由度姿态参数作为最终计算结果输出；否则用新生成的投影图像替换最相似图集中匹配误差最大的投影图像，继续进行下一次迭代计算。

本发明在未给定任何先验特征对应关系情况下基于单目视觉的空间目标姿态估计为研究对象，提出了基于轮廓点ORB特征匹配的无纹理空间目标姿态估计方法。在三维模型先验的基础上，充分利用投影图像轮廓中所包含的数据信息，利用ORB特征匹配和颜色索引建立从输入图像到目标三维模型的2D-3D特征对应关系，并利用匹配误差构造置信概率矩阵，提出加权的正交投影算法解算无纹理空间目标的六自由度姿态参数。ORB特征提高了轮廓点匹配的准确性并且在初始姿态相对真实姿态有较大偏移的情况下仍具有一定的鲁棒性；本发明充分发掘建立2D-3D对应关系子问题与解算姿态参数子问题之间的联系，利用匹配误差构造置信概率矩阵作为解算姿态参数的先验信息，避免了使用RANSAC 算法剔除误匹配点，提高算法的计算效率和精度。

上述实施例只为说明本发明的技术构思及特点，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，包括以下步骤：

步骤1、输入空间目标的三维模型和待估计姿态下所成的单目图像；其中三维模型中包含空间目标的顶点坐标以及结构信息，输入的单目图像为灰度图像；

步骤2、根据三维模型确定在不同视角下的空间目标投影图像库；

步骤3、从空间目标投影图像库中选出与输入图像最相似的投影图像集合，即最相似图集；

步骤4、对输入图像和最相似图集中的投影图像进行预处理，并提取轮廓；

步骤5、基于轮廓点的ORB特征匹配建立输入图像轮廓和最相似图集中投影图像轮廓之间的2D-2D点对应关系；

步骤6、基于颜色索引建立输入图像轮廓到空间目标三维模型之间的2D-3D点对应关系；

步骤7、基于投影图像与输入图像匹配准确度构造置信概率矩阵W,W是n×n的对角矩阵，如公式(1)：

其中n为2D-3D对应点的数量，对角线元素ω_j为第j对2D-3D对应点的置信概率；由于通过步骤6得到的2D-3D对应点中会存在很多多对一的情况，所以需要为每一个三维点确定所对应的二维点，并计算置信概率；本算法首先对同一个三维点所对应的多个二维点做聚类，根据每一个聚类中二维点的聚集程度、二维点的数量和二维点所对应的投影图像的匹配误差大小给该聚类打分，取得分最高的聚类中所有二维点的平均值作为最终对应于三维点的二维点坐标，并取该聚类的得分作为该对2D-3D对应点的置信概率；

步骤8：结合2D-3D对应点的置信概率矩阵对正交投影算法进行改进，提出加权正交投影算法以迭代计算姿态参数；

步骤9、根据终止条件判断当前输出姿态参数还是返回步骤2进行下一次迭代计算。

2.根据权利要求1所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，所述步骤2是以Hu矩作为相似性测度从空间目标投影图像库中选出与输入图像最相似的投影图像集合，首先将输入图像和投影图像库中的图像转换为二值图，目标区域为白色，背景区域为黑色，然后计算每一张二值图的Hu矩的七个分量，取前三个分量用于计算相似性：

其中I代表输入图像，G代表投影图像，代表输入图像Hu矩的第k个分量，代表投影图像Hu矩的第k个分量，选择计算得到的comp(I,G)值最小的若干张投影图像作为与输入图像最相似的投影图像集合即最相似图集。

3.根据权利要求1所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，所述步骤5中是通过将最相似图集中的每一张投影图像轮廓都与输入图像轮廓进行ORB特征匹配，根据匹配得到的轮廓点对应关系，并利用最小二乘法计算每一张投影图像映射到输入图像的单应矩阵，由单应矩阵可以计算得到第j张投影图像的第q个轮廓点在输入图像上的对应点坐标(x_jq',y_jq')，“～”表示在齐次意义下相等，m代表最相似图集中投影图像的数量；

根据公式(4)可以衡量输入图像轮廓与最相似图集中投影图像轮廓匹配的误差大小，计算公式如下：

Q_j代表第j张投影图像的轮廓点个数，是输入图像上与匹配的点，(x_jq',y_jq')是通过(3)式计算得到。

4.根据权利要求3所述的一种基于轮廓点ORB特征匹配的无纹理空间目标姿态估计算法，其特征在于，计算聚类得分的具体公式如下：

ω_j＝α_j×ln(e-β_j)×γ_j,j＝1,2,...,N_cluster (5)

其中N_cluster代表二维点聚类数目，α_j、β_j和γ_j的计算公式分别如下：

其中radius代表聚类半径，p_i代表聚类中二维点的坐标，p_center代表聚类中心点坐标，c_j代表第j个聚类中二维点的数量。