CN110849331A - 基于三维点云数据库模型的单目视觉测量与地面试验方法 - Google Patents

Abstract

本发明公开一种基于三维点云数据库模型的单目视觉测量与地面试验方法，目标的位置和姿态发生变化时，其在相机中的成像也会发生变化；利用三维重建得到目标的三维点云数据，通过相机标定得到相机的参数，采用OpenGL技术渲染生成目标模拟图像；通过构建模拟图像与实拍图像的关系实时确定目标的位置和姿态；地面试验设备包含分别用来安装目标模型及测量所使用的相机的两个试验台及其控制台，通过控制两个试验台的平动和转动来模拟太空环境中目标和飞行器的相对运动；将相机测量输出的位置和姿态与控制台的控制数据进行比较，进行地面试验验证。本发明可应用于空间失控失稳目标的在轨维修与服务，方法简单、精度高，流程清晰，易于实践，具有推广价值。

Description

基于三维点云数据库模型的单目视觉测量与地面试验方法

技术领域

本发明涉及超近距离目标相对位姿单目视觉测量方法与地面试验，具体涉及一种基于三维点云数据库模型的单目视觉测量与地面试验方法。

背景技术

人类空天活动的不断发展导致空间中航天器数量的不断增加。航天器长期运行在恶劣的空间环境中，不可避免的受到空间粒子、辐射等影响，使得其上搭载的设备老化甚至损坏，无法发挥航天器应有的功能，变成不受控的失效航天器，这会对空间中其他正常运行的航天器造成潜在的安全威胁。面对这样的情形，如何对这些不受控的失效航天器进行设备维修、轨道修正以及燃料加注等以使其能够继续正常运行工作，已经成为各国航天领域重点研究的问题之一，在轨服务技术随之产生，具有广泛的应用价值。

对目标航天器进行在轨服务的前提是完成对它的检测识别以及相对位置和相对姿态的测量确定，这直接关系到任务的成败。利用双目视觉可以完成对目标的测量，但是双目视觉需要两台相机，设备系统复杂，而且需要进行两个相机的特征点的提取与匹配，算法复杂、运算量大。使用单目视觉具有设备少、算法简单、运算量小的优势。

目前基于单目的视觉测量方法日趋成熟，常用的方法主要包括：基于特征点的目标姿态估计、利用非线性约束优化的特征值迭代求解位姿方法、利用航天器自身结构特征求解位姿方法以及基于连续多针空间非合作目标求解位姿方法。本发明提供的基于三维点云数据库模型的单目视觉测量与地面试验方法，根据目标的三维点云数据库进行位置和姿态的测量，并通过地面试验设备完成对位置和姿态测量数据的精度评价。目前没有发现同本发明类似技术的说明和报道，也尚未收集到国内外类似的资料。

发明内容

本发明的目的在于提供一种基于三维点云数据库模型的单目视觉测量与地面试验方法，其利用单目视觉完成对目标位置和姿态的测量并对测量值进行精度的评价；具体是根据目标的三维点云数据库进行位置和姿态的测量，并通过地面试验设备完成对位置和姿态测量数据的精度评价。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于三维点云数据库模型的单目视觉测量与地面试验方法，包含以下步骤：

S1、获取目标的三维点云数据并得到模拟的图像数据库；对测量所使用的相机进行标定，得到相机的参数，并通过渲染生成目标的模拟图像数据库；

S2、将目标与测量所使用的相机分别安装在目标试验台与飞行器试验台，通过控制两个试验台至不同的位置和姿态，获得实拍图像；其中，将模拟图像数据库中与实拍图像重合比例最高的位置和姿态值作为实拍时刻的目标位置和姿态的初值；

S3、基于所述步骤S2中目标的位置和姿态的初始值，进行三维点云的投影，获取二维投影图像，对图像进行轮廓提取，得到目标位置和姿态的粗值；重复步骤S2，直至位置和姿态变化小于预设的阈值或者到达迭代次数时停止迭代，输出目标最终的位置和姿态的测量值，作为位置和姿态的精确测量输出值；

S4、将所述步骤S3中的位置和姿态的精确测量输出值与目标试验台与飞行器试验台显示的位置和姿态数据进行比较，完成对输出的目标的位置和姿态准确测量值的评价。

优选地，所述步骤S1中，利用激光扫描仪得到所述目标的三维点云数据，以及通过OpenGL渲染生成目标的模拟图像数据库。

优选地，所述步骤S1中，采用平面模板标定法对测量所使用的相机进行标定，包含：利用世界坐标系o_w-x_wy_wz_w到像素坐标系o′-uv的坐标转换来表示：

其中，

分别表示像素坐标系u轴、v轴的有效焦距；dx表示单个像素在图像坐标系x轴方向的物理尺寸；dy表示单个像素在图像坐标系y轴方向的物理尺寸；f为相机的焦距；M为3×4的矩阵，为透视投影矩阵；M₁为相机的内部参数，包括α_x、α_y、u₀、v₀四个参数，(u₀,v₀)为相机光心的像素坐标；M₂为相机的外部参数；R表示世界坐标系与相机坐标系之间的平移关系，T表示世界坐标系与相机坐标系之间的旋转关系。

优选地，所述目标试验台与所述飞行器试验台均为六自由度试验台。

优选地，所述步骤S2中，进一步包含：

将实拍图像的目标区域特征图像与模拟图像数据库中位于不同位置和姿态下的目标区域特征进行对比，确定两者之间的重合度，两者之间的重合度采用如下的公式判断：

其中，FI_A表示实拍图像所提取到的运动目标区域；FI_S为模拟图像数据库目标区域特征集合中的目标区域；∩表示求交运算；|·|表示满足条件所统计得到的像素数目；当r大于给定的阈值时，则将模拟图像数据库的目标的位置和姿态分别作为实拍图像的位置和姿态的初始值。

优选地，所述步骤S3中，进一步包含：

利用所述步骤S2中的位置和姿态的初始值，进行三维点云数据的投影，获取二维投影图像，根据二维投影图像与模拟图像轮廓之间的关系，构建代价函数；

所述代价函数是指二维投影图像中目标的轮廓与模拟图像中目标的轮廓的整体距离，求解代价函数最小时所对应的运动目标的位置和姿态即为目标当前迭代中的位置和姿态，并确定轮廓间的对应关系，代价函数的表达式：

其中，p_i为二维投影图像的轮廓，q_i为模拟图像轮廓，N为图像轮廓的总数量。

优选地，所述步骤S4中，在进行相机测量数据的评估时所需要的数据包含相机测量数据，试验台控制数据，相机测量系原点位置与相机端零位，目标特征坐标系原点位置与目标端零位。

优选地，所述步骤S4中，进一步包含：

相机测量数据与试验台控制数据的姿态转换关系如下：

C_sf＝C_Is ^TC_If＝C_bs ^TC_SIC_TI ^TC_tf

其中，C_sf为相机测量得到的目标特征系到相机测量系的转换矩阵，转序3-1-2；C_SI为相机端平台的姿态驱动矩阵，地面试验中相机端不转动，为单位阵；C_TI为目标端平台的相对零位姿态驱动矩阵，转序3-2-1；C_bs、C_tf分别为寻找零位得到的相机安装矩阵和目标零位转动矩阵；C_If是本地坐标系到目标模型坐标系的转换矩阵；C_Is是本地坐标系到单机测量坐标系的转换矩阵；

相机测量数据与试验台控制数据的位置转换关系如下：

r_T-r_S＝-C_TI ^T·l_T-C_sI ^T·r_st+C_SI ^T·l_S

其中，C_sI ^T＝C_ITC_TbC_bs；C_IT＝C_TI ^T，表示相对零位到目标端平台的姿态转换矩阵；r_st为相机测量得到的测量系原点到目标特征系原点矢量在测量系下的分量；l_T为相机端安装面中心到相机测量系原点的矢量；l_S为目标端安装面中心到目标特征系原点的矢量；r_T为目标试验台坐标系在本地坐标系下的坐标；r_S为单机试验台坐标系在本地坐标系下的坐标。

与现有技术相比，本发明的有益效果在于：本发明基于三维点云数据库模型的单目视觉测量与地面试验方法，利用目标的三维点云数据库模型完成位置和姿态的测量，并通过地面试验设备完成对位置和姿态测量数据的精度评价，得到了一种单目视觉测量位置和姿态的方法，并对位置和姿态的测量精度进行了评价，取得了单目视觉测量的新思路，适用于在轨维修和在轨服务领域；本发明的单目视觉测量方法算法简单、精度高，地面试验方法流程清晰，易于实践，具有一定的推广价值。

附图说明

图1为本发明的目标三维点云数据获取与模拟数据库生成示意图；

图2为本发明的相机成像模型示意图；

图3为本发明的轮廓对应关系示意图；

图4为本发明的相机测量数据与试验台控制数据关系图；

图5为本发明的目标寻找零位示意图；

图6为本发明的相机寻找零位示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于三维点云数据库模型的单目视觉测量与地面试验方法，可应用于空间失控失稳目标的在轨维修与服务，若要完成对空间失控失稳目标的在轨维修与服务，则需要通过导航将飞行器引导至目标附近，相对位置和相对姿态的测量是必不可少的过程。针对同一目标与固定位置的相机，目标的位置和姿态可以通过其在相机中的成像唯一确定；当目标的位置和姿态发生变化时，其在相机中的成像也会发生变化。利用三维重建可以得到目标的三维点云数据，通过相机标定可以得到相机的参数，以此两点为前提，采用OpenGL技术渲染生成目标模拟图像；通过构建模拟图像与实拍图像之间的关系来实时确定目标的位置和姿态。本发明的地面试验设备包含两个六自由度的试验台及其对应的控制台，两个六自由度的试验台分别用来安装目标模型以及测量所使用的相机。通过控制台来独立控制两个试验台的平动和转动，用来模拟太空环境中目标和飞行器的相对运动。将相机测量输出的位置和姿态与控制台的控制数据进行比较，进行地面试验验证。

如图1-图6所示，本发明的基于三维点云数据库模型的单目视觉测量与地面试验方法具体包括以下步骤：

步骤S1、利用三维激光扫描仪获取目标卫星模型的三维几何模型，得到目标的三维点云数据，并基于所述三维点云数据得到模拟的图像数据库；再对测量所使用的相机进行标定得到相机的参数，并采用OpenGL渲染生成目标的模拟图像数据库；如图1所示，图1的中间虚线方框为本发明利用三维几何模型、相机参数以及OpenGL软件所构建的三维点云数据库模型，图1的右侧实线方框为目标卫星模型示意图。

步骤S2、得到目标位置和姿态的初值：将目标与测量所使用的相机分别安装在目标试验台(六自由度的试验台)与飞行器试验台(六自由度的试验台)，通过控制台分别独立控制这两个试验台至不同的位置和姿态，获得实拍图像；其中，将模拟图像数据库中与实拍图像重合比例最高的位置和姿态值做为实拍时刻的目标位置和姿态的初值；

步骤S3、进行目标位置和姿态的精确求解：利用步骤S2中目标的位置和姿态的初始值，进行三维点云的投影，获取二维投影图像，对图像进行轮廓提取，得到目标位置和姿态的粗值；重复步骤S2，直至位置和姿态变化小于事先设定的阈值或者到达迭代次数时停止迭代，输出目标最终的位置和姿态的测量值，作为位置和姿态的精确测量输出值；

步骤S4、利用地面试验设备完成对输出的目标的位置和姿态的评价：将步骤S3输出的位置和姿态精确测量值与两个六自由度试验台显示的位置和姿态数据进行比较，完成对输出的目标的位置和姿态准确测量值的评价，最终得到对单目视觉测量方法的精度评价。

所述步骤S1中，进一步包含：

如图1所示，首先利用三维激光扫描仪获取目标的三维点云数据；接下来再对相机的参数进行标定，其中，采用张正友的平面模板标定法：相机的成像模型如图2所示(图2所示为相机成像的线性模型：三维空间的任意一点P在相机成像平面上的点为p，p点的位置由光心o_c到P点的连线o_cP与相机成像平面的交点决定)，可以利用世界坐标系o_w-x_wy_wz_w到像素坐标系o′-uv的坐标转换来表示：

式中，

分别表示像素坐标系u轴、v轴的有效焦距；dx表示单个像素在图像坐标系x轴方向的物理尺寸；dy表示单个像素在图像坐标系y轴方向的物理尺寸；f为相机的焦距；M为3×4的矩阵，称为透视投影矩阵；M₁为相机的内部参数，它包括了α_x、α_y、u₀、v₀四个参数，(u₀,v₀)为相机光心的像素坐标，这四个参数只与相机本身的构造相关；M₂为相机的外部参数，与相机在世界坐标系o_w-x_wy_wz_w中的安装位置相关；R表示世界坐标系与相机坐标系之间的平移关系，T表示世界坐标系与相机坐标系之间的旋转关系。

所述步骤S2中，进一步包含：

将实拍图像的目标区域特征图像与模拟图像数据库中位于不同位置和姿态下的目标区域特征进行对比，确定两者之间的重合度，两者之间的重合度采用如下的公式判断：

其中，FI_A表示实拍图像所提取到的运动目标区域，FI_S为模拟图像数据库目标区域特征集合中的目标区域，∩表示求交运算，|·|表示满足条件所统计得到的像素数目；当r大于给定的阈值时，则将模拟图像数据库的目标的位置和姿态分别作为实拍图像的位置和姿态的初始值。

所述步骤S3中，进一步包含：

利用步骤S2中的位置和姿态的初始值，进行三维点云数据的投影，获取二维投影图像，根据二维投影图像与模拟图像轮廓之间的关系，构建代价函数；如图3所示，图3中实线为真实的目标轮廓，虚线为模拟数据库中的目标轮廓，P1和P2为轮廓上的特征点；所述代价函数的意义：二维投影图像中目标的轮廓与模拟图像中目标的轮廓的整体距离，求解代价函数最小时所对应的运动目标的位置和姿态即为目标当前迭代中的位置和姿态，并确定轮廓间的对应关系，代价函数的表达式：

其中，p_i为二维投影图像的轮廓，q_i为模拟图像轮廓，N为图像轮廓的总数量。

所述步骤S4中，主要是利用地面试验设备完成对输出的目标的位置和姿态的评价，进一步包含：

相机测量得到的位置和姿态与控制台的控制数据的定义是不统一的，要完成对位置和姿态测量精度的评价需要将两组数据进行统一；在进行相机测量数据的评估时，所需要的数据如下所示：(a)相机测量数据；(b)试验台控制数据(即两个试验台的控制数据)；(c)相机测量系原点位置、相机端零位；(d)目标特征坐标系原点位置、目标端零位。

如图4所示为本发明使用的试验台示意图，左边为目标试验台1，其上方安装了目标模型3；右边为单机试验台2，其上方安装了测量相机4。O_I-X_IY_IZ_I为本地坐标系，即整个试验场地控制的基准坐标系。由图4可以得到相机测量数据与试验台控制数据关系(两者之间的等效关系)：

(1)姿态转换关系如下：

C_sf＝C_Is ^TC_If＝C_bs ^TC_SIC_TI ^TC_tf

其中，C_sf为相机测量得到的目标特征系到相机测量系的转换矩阵，转序3-1-2；C_SI为相机端平台的姿态驱动矩阵，地面试验中相机端不转动，为单位阵；C_TI为目标端平台的相对零位姿态驱动矩阵，转序3-2-1；C_bs、C_tf分别为寻找零位得到的相机安装矩阵和目标零位转动矩阵；C_If是本地坐标系到目标模型坐标系的转换矩阵；C_Is是本地坐标系到单机测量坐标系的转换矩阵。其中，转序3-1-2是指将一个坐标系按照先绕Z轴旋转一个角度后，再绕X轴旋转一个角度，最后绕Y轴旋转一个角度后与另一个坐标系重合，这个三个角度便为两个坐标系之间的姿态角，分别称为滚动、俯仰和偏航角；同理，转序3-2-1是指将一个坐标系按照先绕Z轴旋转一个角度后，再绕Y轴旋转一个角度，最后绕X轴旋转一个角度后与另一个坐标系重合，这个三个角度便为两个坐标系之间的姿态角，分别称为滚动、俯仰和偏航角。

(2)位置转换关系如下：

r_T-r_S＝-C_TI ^T·l_T-C_sI ^T·r_st+C_SI ^T·l_S

其中，C_sI ^T＝C_ITC_TbC_bs；C_IT＝C_TI ^T，表示相对零位到目标端平台的姿态转换矩阵。r_st为相机测量得到的测量系原点到目标特征系原点矢量在测量系下的分量；l_T为相机端安装面中心到相机测量系原点的矢量；l_S为目标端安装面中心到目标特征系原点的矢量；r_T为目标试验台坐标系在本地坐标系下的坐标；r_S为单机试验台坐标系在本地坐标系下的坐标；值得说明的是，公式的参数下标S表示安装单机的试验台坐标系，小标的s表示单机的测量坐标系。

上述C_bs、C_tf分别为寻找零位得到的相机安装矩阵和目标零位转动矩阵，寻找零位的方法流程如下：

在进行目标端零位选择时，将安装目标的试验台转动寻零后，目标天线在空间中指向可能并不满足需求；控制试验台的转动，使目标天线中轴线与铅垂线方向一致，记录此时试验台转动转过的角度为θ_x，如图5所示；

在进行相机端的零位选择时，将安装相机的试验台转动寻零后，控制试验台的转动，使得单机的工装短边与铅垂线的方向一致，记录此时试验台转动转过的角度为θ_y，得到相机的安装矩阵，如图6所示。

综上所述，本发明提供的一种基于三维点云数据库模型的单目视觉测量与地面试验方法，可应用于空间失控失稳目标的在轨维修与服务。该单目视觉测量方法算法简单、精度高，地面试验方法流程清晰，易于实践，具有一定的推广价值。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，包含以下步骤：

S1、获取目标的三维点云数据并得到模拟的图像数据库；对测量所使用的相机进行标定，得到相机的参数，并通过渲染生成目标的模拟图像数据库；

S2、将目标与测量所使用的相机分别安装在目标试验台与飞行器试验台，通过控制两个试验台至不同的位置和姿态，获得实拍图像；其中，将模拟图像数据库中与实拍图像重合比例最高的位置和姿态值作为实拍时刻的目标位置和姿态的初值；

S3、基于所述步骤S2中目标的位置和姿态的初始值，进行三维点云的投影，获取二维投影图像，对图像进行轮廓提取，得到目标位置和姿态的粗值；重复步骤S2，直至位置和姿态变化小于预设的阈值或者到达迭代次数时停止迭代，输出目标最终的位置和姿态的测量值，作为位置和姿态的精确测量输出值；

S4、将所述步骤S3中的位置和姿态的精确测量输出值与目标试验台与飞行器试验台显示的位置和姿态数据进行比较，完成对输出的目标的位置和姿态准确测量值的评价。

2.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S1中，利用激光扫描仪得到所述目标的三维点云数据，以及通过OpenGL渲染生成目标的模拟图像数据库。

3.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S1中，采用平面模板标定法对测量所使用的相机进行标定，包含：利用世界坐标系o_w-x_wy_wz_w到像素坐标系o′-uv的坐标转换来表示：

其中，

分别表示像素坐标系u轴、v轴的有效焦距；dx表示单个像素在图像坐标系x轴方向的物理尺寸；dy表示单个像素在图像坐标系y轴方向的物理尺寸；f为相机的焦距；M为3×4的矩阵，为透视投影矩阵；M₁为相机的内部参数，包括α_x、α_y、u₀、v₀四个参数，(u₀,v₀)为相机光心的像素坐标；M₂为相机的外部参数；R表示世界坐标系与相机坐标系之间的平移关系，T表示世界坐标系与相机坐标系之间的旋转关系。

4.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述目标试验台与所述飞行器试验台均为六自由度试验台。

5.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S2中，进一步包含：

将实拍图像的目标区域特征图像与模拟图像数据库中位于不同位置和姿态下的目标区域特征进行对比，确定两者之间的重合度，两者之间的重合度采用如下的公式判断：

其中，FI_A表示实拍图像所提取到的运动目标区域；FI_S为模拟图像数据库目标区域特征集合中的目标区域；∩表示求交运算；|·|表示满足条件所统计得到的像素数目；当r大于给定的阈值时，则将模拟图像数据库的目标的位置和姿态分别作为实拍图像的位置和姿态的初始值。

6.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S3中，进一步包含：

利用所述步骤S2中的位置和姿态的初始值，进行三维点云数据的投影，获取二维投影图像，根据二维投影图像与模拟图像轮廓之间的关系，构建代价函数；

所述代价函数是指二维投影图像中目标的轮廓与模拟图像中目标的轮廓的整体距离，求解代价函数最小时所对应的运动目标的位置和姿态即为目标当前迭代中的位置和姿态，并确定轮廓间的对应关系，代价函数的表达式：

其中，p_i为二维投影图像的轮廓，q_i为模拟图像轮廓，N为图像轮廓的总数量。

7.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S4中，在进行相机测量数据的评估时所需要的数据包含相机测量数据，试验台控制数据，相机测量系原点位置与相机端零位，目标特征坐标系原点位置与目标端零位。

8.如权利要求1所述的基于三维点云数据库模型的单目视觉测量与地面试验方法，其特征在于，

所述步骤S4中，进一步包含：

相机测量数据与试验台控制数据的姿态转换关系如下：

C_sf＝C_Is ^TC_If＝C_bs ^TC_SIC_TI ^TC_tf

其中，C_sf为相机测量得到的目标特征系到相机测量系的转换矩阵，转序3-1-2；C_SI为相机端平台的姿态驱动矩阵，地面试验中相机端不转动，为单位阵；C_TI为目标端平台的相对零位姿态驱动矩阵，转序3-2-1；C_bs、C_tf分别为寻找零位得到的相机安装矩阵和目标零位转动矩阵；C_If是本地坐标系到目标模型坐标系的转换矩阵；C_Is是本地坐标系到单机测量坐标系的转换矩阵；

相机测量数据与试验台控制数据的位置转换关系如下：

r_T-r_S＝-C_TI ^T·l_T-C_sI ^T·r_st+C_SI ^T·l_S

其中，C_sI ^T＝C_ITC_TbC_bs；C_IT＝C_TI ^T，表示相对零位到目标端平台的姿态转换矩阵；r_st为相机测量得到的测量系原点到目标特征系原点矢量在测量系下的分量；l_T为相机端安装面中心到相机测量系原点的矢量；l_S为目标端安装面中心到目标特征系原点的矢量；r_T为目标试验台坐标系在本地坐标系下的坐标；r_S为单机试验台坐标系在本地坐标系下的坐标。

Images