CN110766716B - 一种空间未知运动目标的信息获取方法及系统 - Google Patents

Abstract

本申请适用于航天技术领域，提供了一种空间未知运动目标的信息获取方法，包括：采集目标的图像数据，并对图像数据进行初始化处理，获取目标区域的点云数据；根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的描述子的数据关联；根据所述数据关联结果获取匹配对；根据所述匹配对确定目标的运动参数；添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化，通过建立全局地图点进行数据关联后选取匹配对来确定和局部优化目标的运动信息，并基于位姿图的建立对得到的运动信息进行全局优化，能够消除累计误差，提高测量估计结果的精度，同时保证测量与估计的实时性，保证空间未知运动目标的三维几何和运动参数的一致性。

Description

一种空间未知运动目标的信息获取方法及系统

技术领域

本申请属于航天技术领域，尤其涉及一种空间未知运动目标的信息获取方法及系统。

背景技术

随着故障卫星和空间碎片等太空垃圾的日益增加，会影响正常卫星的运行，因此清理太空垃圾成为当下航天领域的重点任务。为了清理太空垃圾，就需要捕获太空垃圾，然而绝大多数的太空垃圾属于空间未知运动目标，由于空间未知运动目标不能给服务卫星提供有效的合作信息，因此目标的三维几何与运动参数信息完全或部分未知，这给未知运动目标的捕获任务带来了极大的挑战。对空间未知运动目标的观测并获取相关信息是完成捕获任务的前提，在对未知运动目标进行执行捕获任务时，首先需要获取目标的位置姿态、速度、加速度等运动参数信息；在与目标接触或定位抓取点时，则需要获取目标的三维几何信息，因此对空间未知运动目标的三维几何和运动参数进行测量和估计具有重要的意义。

传统的对空间未知运动目标的测量与估计是采用传统滤波器方法来实现的，由于传统滤波器方法基于隐马尔可夫假设，在系统参数和传感器测量等存在不确定性的情况下，会存在误差累积的问题，且无法对测量与估计的结果进行全局优化；而且传统滤波器方法还需要储存估计状态量的均值和方差信息，致使程序存储量随估计状态量呈平方增长的问题，因此难以保证长时间测量与估计下未知运动目标的三维几何与运动参数的一致性和精度。

综上所述，目前对空间未知运动目标的三维几何和运动参数的测量和估计方法存在无法保证测量的精度和一致性的问题。

发明内容

本申请实施例提供了一种空间未知运动目标的信息获取方法及系统，可以解决对空间未知运动目标的三维几何和运动参数的测量和估计方法存在无法保证测量的精度和一致性的问题。

第一方面，本申请实施例提供了一种空间未知运动目标的信息获取方法，包括：

采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据；

根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联；

根据所述数据关联结果获取匹配对；

根据所述匹配对确定目标的运动参数；

添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化。

示例性的，上述空间未知运动目标的信息包括空间未知运动目标的三维几何信息和运动参数信息。

在第一方面的一种可能的实现方式中，所述采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据，包括：

根据所述目标的图像数据选取目标区域的点云图像；

基于颜色空间模型对所述点云图像进行图像分割；

基于统计滤波对进行图像分割后的点云图像进行噪声滤波，得到所述目标区域的点云数据。

在第一方面的一种可能的实现方式中，所述全局地图点包括第一描述子和第二描述子；所述第一描述子用于描述第一帧的特征点的位置信息，所述第二描述子用于描述最新更新帧的特征点的位置信息；

所述根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联，包括：

基于特征提取算法提取所述点云数据中的特征点；

根据所述特征点的位置信息建立全局地图点；

将当前帧的特征点的描述子与全局地图点的描述子进行匹配。

在第一方面的一种可能的实现方式中，所述根据所述特征点的位置信息建立全局地图点，包括：

获取第一帧的特征点的位置信息的三维坐标，建立参考坐标系；

获取后续帧的特征点的位置信息，并基于位置变换将所述后续帧的特征点转换到所述参考坐标系中，建立全局地图点。

在第一方面的一种可能的实现方式中，所述根据所述数据关联结果获取匹配对，包括：

计算所述当前帧的特征点与全局地图点的特征点的最小距离；

判断所述当前帧的特征点与所述全局地图点的特征点的最小距离是否小于预设距离阈值；

若所述当前帧的特征点与所述全局地图点的特征点的最小距离小于预设距离阈值，则基于随机一次性采样模型计算匹配单应矩阵；

判断所述单应矩阵的重投影误差模型的误差是否在误差范围内；

若所述单应矩阵的重投影误差模型的误差在误差范围内；则将所述当前帧的特征点与所述全局地图点选取为匹配对。

在第一方面的一种可能的实现方式中，所述目标的运动参数包括旋转运动参数和平移运动参数；

所述根据所述匹配对确定目标的运动参数，包括：

基于选取的匹配对采用随机抽样一致性算法确定所述目标的旋转信息；

根据所述目标的旋转信息确定旋转主轴并建立旋转坐标系；

通过光束法平差对所述旋转坐标系进行非线性优化，并基于自适应卡尔曼滤波器得到所述目标的旋转速度信息；

通过最小二乘匹配算法建立重投影误差模型，并根据所述重投影误差模型估计所述目标的平移信息；

基于均值滤波和自适应卡尔曼滤波算法对所述目标的平移信息进行优化。

在第一方面的一种可能的实现方式中，所述添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化，包括：

根据目标的运动状态确定关键帧；

基于第一帧的图像数据建立位姿图的初始点；

将确定的关键帧添加到所述位姿图中；

基于回环检测算法对所述位姿图进行优化。

第二方面，本申请实施例提供了一种空间未知运行目标的信息获取系统，包括：

采集模块，用于采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据；

关联模块，用于根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联；

获取模块，用于根据所述数据关联结果获取匹配对；

确定模块，用于根据所述匹配对确定目标的运动参数；

优化模块，用于添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述第一方面所述空间未知运动目标的信息获取方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的空间未知运动目标的信息获取方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的空间未知运动参数的信息获取方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例提供的空间未知运动参数的信息获取方法及系统，通过提取目标的特征点，并建立全局地图点进行数据关联后选取匹配对来确定和局部优化目标的运动信息，并基于位姿图的建立对得到的运动信息进行全局优化，能够消除累计误差，提高测量估计结果的精度，同时保证测量与估计的实时性，保证空间未知运动目标的三维几何和运动参数的一致性，有效地解决了目前对空间未知运动目标的三维几何和运动参数的测量和估计方法存在无法保证测量的精度和一致性的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种空间未知运动目标的信息获取方法的实现流程示意图；

图2是本申请一实施例提供的空间未知运动目标的信息获取方法的实物实验平台的结构示意图；

图3a是本申请一实施例提供的空间未知运动目标的信息获取方法的位置估计误差曲线示意图；

图3b是本申请一实施例提供的空间未知运动目标的信息获取方法的姿态估计误差曲线示意图；

图3c是本申请一实施例提供的空间未知运动目标的信息获取方法的线速度估计误差曲线示意图；

图3d是本申请一实施例提供的空间未知运动目标的信息获取方法的角速度估计误差曲线示意图；

图4是本申请一实施例提供的空间未知运动目标的信息获取方法中每帧处理耗时和每帧采集耗时的对比曲线示意图；

图5是本申请另一实施例提供的空间未知运动目标的信息获取方法实验得到的卫星模型的三维几何模型的估计结果示意图；

图6是本申请另一实施例提供的一种空间未知运动目标的信息获取方法步骤S101的具体实现流程图；

图7是本申请实施例提供的一种空间未知运动目标的信息获取方法执行步骤S201得到的点云图像示意图；

图8是本申请实施例提供的一种空间未知运动目标的信息获取方法执行步骤S202得到的点云图像示意图；

图9是本申请实施例提供的一种空间未知运动目标的信息获取方法执行步骤S203中第一次滤波得到的点云图像示意图；

图10是本申请实施例提供的一种空间未知运动目标的信息获取方法执行步骤S203中第二次滤波得到的点云图像示意图。

图11是本申请另一实施例提供的一种空间未知运动目标的信息获取方法步骤S102的具体实现流程图；

图12是本申请另一实施例提供的一种空间未知运动目标的信息获取方法步骤S103的具体实现流程图；

图13是本申请另一实施例提供的一种空间未知运动目标的信息获取方法步骤S104的具体实现流程图；

图14是本申请另一实施例提供的一种空间未知运动目标的信息获取方法步骤S105的具体实现流程图；

图15是本申请实施例提供的空间未知运动目标的信息获取系统的结构示意图；

图16是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的空间未知运动目标的信息获取方法可以应用于服务器终端、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

示例性的，在本实施例中，上述空间未知运动目标的信息获取方法在服务器终端上实现，上述服务器终端包括图像传感器，通过图像传感器能够获取目标的图像数据，例如深度图像数据和彩色图像数据。上述服务器终端与采集图像的图像采集设备连接，能够实时接收图像采集设备回传的目标的图像数据。上述图像采集设备用于实时采集太空中的空间未知运动目标的图像数据，并以图像帧的形式传输给上述服务器终端，以便所述服务器终端对所述图像数据进行处理以确定空间未知运动目标的信息，上述信息包括但不限于三维几何信息和运动参数信息，上述运动参数信息包括但不限于旋转信息和平移信息。

请参阅图1，图1示出了本申请一实施例提供的空间未知运动目标的信息获取方法的实现流程示意图，作为示例而非限定，该方法可以应用于服务器设备，本实施例中以服务器设备为执行主体对上述方法的实现过程详述如下，在本申请一实施例中上述空间未知运动目标的信息获取方法包括：

步骤S101：采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据。

具体地，上述服务器设备通过图像传感器采集空间未知运动目标(简称为目标)的图像数据。

具体地，使用能够获取空间未知运动目标(目标)的深度图像和彩色图像的相机作为图像传感器对目标进行图像数据采集，通过相机实时获取目标的图像数据，再将获取到的图像数据实时回传给服务器设备，以此来实现目标的图像数据的采集。示例性的，使用与服务器设备连接的Kinect V2相机来进行数据采集。

示例性的，上述图像数据采集过程可以是服务器设备向相机发送图像采集指令，相机根据该图像采集指令获取当前时刻的目标的图像数据并回传给服务器设备；也可以是相机在预设时间间隔内自动采集目标的图像数据，再将采集到的图像数据实时传输给服务器设备。应理解，上述目标的图像数据的采集过程还可以包括其他实现方式，在此不加以限制。

具体地，对于采集到的目标的彩色图像数据和深度图像数据进行图像配准处理后，就能得到该图像数据对应的彩色点云数据。

具体地，对于上述彩色点云数据进行初始化处理，以此来滤除图像采集过程中的噪声点和无用数据点，以保证数据的有效性。需要说明的是，上述无用数据点是指在分析目标的运动参数和三维几何信息过程中不需要用到的数据点。

具体地，通过滤除噪声点和无用数据点后，就能获取到只包含目标的小范围图像(目标区域)的点云数据。

在本实施例中，上述滤除噪声点和无用数据点的具体过程为：基于颜色空间模型和统计滤波算法对彩色点云数据进行滤波。

步骤S102：根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联。

具体地，在进行前端跟踪(建立特征点与全局地图点的数据关联)之前，还需要通过提取目标区域的特征点，并根据特征点的位置信息来建立全局地图点。

具体地，通过计算当前帧提取的特征点的描述子与全局地图点的描述子的相似程度，来实现全局地图点的特征点的描述子与当前帧的特征点的描述子进行数据匹配来，进而建立数据关联。

具体地，上述全局地图点的特征点的描述子包括的第一描述子和第二描述子，将当前帧的特征点的描述子分别与全局地图点的特征点的第一描述子和第二描述子进行匹配。

需要说明的是，对于某一个目标而言，其包括多个特征点，如多个表面特征点，对于各个特征点，均有用于描述其周围环境的描述子，将该特征点的描述子与全局地图点上对应的特征点的第一描述子和第二描述子分别进行匹配，根据匹配程度来判断这两个特征点是否为同一个特征点，以此来建立数据关联。需要说明的是，第一描述子是指用于描述第一帧的图像中该特征点的位置信息，上述第二描述子是指用于描述最新更新帧的图像中该特征点的位置信息。

在本实施例中，描述子包括特征点周围环境的特征数据，通过特征数据就能描述该特征点的所在位置(即位置信息)。

还需要说明的是，在本实施例中，上述第一帧、当前帧和最新更新帧均是指图像帧。第一帧是指相机在初始时刻获取到的该目标的图像，当前帧是指相机在当前时刻获取到的目标的图像，最新更新帧是指在当前时刻之前相机最近一次获取到的图像。

步骤S103：根据所述数据关联结果获取匹配对。

具体地，通过上述数据关联过程就能够确定各个特征点的对应关系后，进行筛除操作，以删除误匹配，并根据全局地图点的更新时间选取预设数量的匹配对。

具体地，通过筛除算法将误匹配的数据关联关系进行删除，并将满足关联条件的当前帧的特征点更新到全局地图点中，并根据更新时间选取预设数量的匹配对。

具体地，在数据关联过程中是将当前帧的特征点的描述子分别与全局地图点中的第一描述子和第二描述子进行匹配，在匹配完成后，分别对当前帧的特征点的描述子与第一描述子的数据关联关系及当前帧的特征点的描述子与第二描述子的数据关联关系基于筛除算法将误匹配的数据关联关系进行删除。没有被筛除的关联关系会被更新到全局地图点中，并基于更新时间从两组中选择出预设数量的匹配对。

应理解，服务器设备会在将当前帧的特征点的描述子与第一描述子进行匹配的同时，将当前帧的特征点的描述子与第二描述子进行匹配，只要匹配后确定该匹配对满足关联关系则会将当前帧的特征点更新到全局地图点中。

需要说明的是，上述预设数量可以根据实际需求进行设定，示例性的，将上述预设数量设置为200对，即在选择匹配对时则将更新时间为前200对的匹配对选取出来。

步骤S104：根据所述匹配对确定目标的运动参数。

具体地，基于选取的匹配对，结合随机一致性采样算法(RANSAC)求解PnP问题估计目标的旋转信息，进而得到目标的旋转角度、角速度以及旋转主轴方向等信息，在此基础上，通过最小二乘法(LSM)估计目标旋转中心及平移信息，得到目标的旋转中心位置、平动位置及线速度等状态信息。

具体地，当确定了目标的旋转角度、角速度、旋转主轴、旋转中心位置、平动位置以及线速度等运动参数后，基于联合光束法平差和自适应卡尔曼滤波对目标的运动参数进行局部优化，在保证实时性的情况下，实现了较准确的估计结果(即确定目标的运动参数信息)，进而实现目标三维几何模型的点云建模(即建立目标的三维几何模型)。

步骤S105：添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化。

具体地，在基本估计了目标的三维几何信息和运动参数信息后，基于上述位置信息确定关键帧并初步构建用于后端优化的位姿图，再通过回环检测完善位姿图，进而基于位姿图实现目标的运动参数的全局优化，进一步提高估计结果的精度。

为了进一步说明本实施例提供的空间未知运动目标的信息获取方法的效果，通过实物实验来进行验证。请参加图2，图2示出了本申请实施例对应的实物实验平台的结构示意图。如图2所示，其包括相机Kinect V2，UR5示教器、UR5机械臂以及卫星模型。

在本实验中，上述卫星模型的长为42cm、宽为10cm、高为11.5cm，在实际场景中，上述卫星模型的主体表面覆盖有带纹理信息的金色反光材料。

通过控制UR5机械臂使得卫星模型的运动实况信息为：平移变化距离为213.11mm，旋转变化角度为30度(即0.52358333rad)，平移运动速度为25mm/s，旋转速度为3.515287752度/s(即0.061351536弧度/s)。

利用相机Kinect V2采集卫星模型的图像，采集帧数共124帧，耗时为8.534418秒。

实验得到的卫星模型的位置估计误差曲线如图3a所示，姿态估计误差曲线如图3b所示，线速度估计误差曲线如图3c所示，角速度估计误差曲线如图3d所示，分析各曲线可知，当目标做平移运动时，算法收敛速度较快，在2.5秒左右就收敛了。x、y和z轴方向的平移估计平均误差分别为1.4mm、4.8mm和3.2mm，x、y和z轴方向的旋转估计平均误差分别为0.0018rad、0.0023rad和0.0079rad(即0.103度、0.131度和0.452度)，x、y和z轴方向的平移速度估计平均误差分别为3.1mm/s、1.2mm/s和3.9mm/s，x、y和z轴方向的旋转速度估计平均误差分别为0.0061rad/s、0.0101rad/s和0.0058rad/s(即0.349度/s、0.578度/s和0.332度/s)。

图4示出了本申请实施例的每帧处理耗时和每帧采集耗时的对比曲线示意图，由图4可知，每帧平均耗时为0.0231s，小于每帧平均采集时间0.0685s，有效地保证了目标旋转运动估计的实时性。图5示出了本实验得到的卫星模型的三维几何模型的估计结果。由图5可以看出，本申请提供的空间未知运动目标的信息获取方法能够准确的确定空间未知运动目标的三维几何信息。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例提供的空间未知运动参数的信息获取方法，通过提取目标的特征点，并建立全局地图点进行数据关联后选取匹配对来确定和局部优化目标的运动信息，并基于位姿图的建立对得到的运动信息进行全局优化，能够消除累计误差，提高测量估计结果的精度，同时保证测量与估计的实时性，保证空间未知运动目标的三维几何和运动参数的一致性，能够有效地为后续的捉捕提供预判，有效地解决了目前对空间未知运动目标的三维几何和运动参数的测量和估计方法存在无法保证测量的精度和一致性的问题。

请参阅图6，图6是本申请另一实施例提供的一种空间未知运动参数的信息获取方法的S101的具体实现流程，本实施例与上一实施例的不同之处在于，本实施例提供的一种空间未知运动参数的信息获取方法中S101包含以下多个步骤，详述如下：

步骤S201：根据所述目标的图像数据选取目标区域的点云图像。

具体地，通过人为框选目标区域，对于第一帧图像设置框选窗口，服务器设备就会获取该框选窗口中的图像数据。对于第一帧的后续帧则不需要再设置框选窗口，后续帧会自主跟踪该目标区域。通过设置框选窗口来选取目标区域的点云图像，得到的目标区域的点云图像如图7所示。

步骤S202：基于颜色空间模型对所述点云图像进行图像分割。

具体地，基于HSV颜色空间模型对得到的目标区域的点云数据进行图像分割。将包含目标的图像数据与噪声数据进行分割，分割得到的目标区域的图像如图8所示。

步骤S203：基于统计滤波对进行图像分割后的点云图像进行噪声滤波，得到所述目标区域的点云数据。

具体地，对于分割后的点云图像进行两次统计滤波处理进行噪声滤波和无用点滤除，后就得到只包含目标的点云数据。第一次统计滤波得到的点云图像如图9所示，第二次统计滤波后得到的点云图像如图10所示。

请参阅图11，图11示出了本申请另一实施例提供的一种空间未知运动参数的信息获取方法的S102的具体实现流程图。本实施例与上一实施例的不同之处在于，本实施例提供的一种空间未知运动参数的信息获取方法中S102包含以下多个步骤，详述如下：

步骤S301：基于特征提取算法提取所述点云数据中的特征点。

具体地，对得到的目标区域的点云图像(彩色点云图像)进行ORB特征点的提取。彩色点云图像的特征点可以理解为图像中比较显著显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。ORB采用FAST(features from accelerated segment test)算法来检测特征点。基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个特征点。

步骤S302：根据所述特征点的位置信息建立全局地图点。

具体地，获取第一帧的目标表面的特征点进行提取，将其二维坐标转换为三维坐标，将该第一帧对应的三维坐标作为参考坐标系，然后再获取后续帧的目标表面的特征点的位置坐标，通过位置转换到参考坐标系中，生成以第一帧的坐标系为参考坐标系的全局地图点。

步骤S303：将当前帧的特征点的描述子分别与所述第一描述子和所述第二描述子进行匹配。

具体地，在建立完全局地图点之后，获取特征点的两个描述子，即第一描述子和第二描述子。

具体地，所述第一描述子用于描述第一帧的特征点的位置信息，所述第二描述子用于描述最新更新帧的特征点的位置信息。

具体地，通过提取当前帧的特征点的描述子，将当前帧的特征点的描述子更新到全局地图点中的两个描述子中的一个。即将当前帧的特征点的描述子同时与上述全局地图点中的两个描述子进行匹配。基于匹配结果判断当前帧的特征点与全局地图点的特征点是否是对应的。(是否为同一特征点)。通过判断当前帧的特征点的描述子与全局地图点的两个描述子的相似程度进行判断，就能确定当前帧的特征点与全局地图点中的特征点是否对应。

在本实施例的一种实现方式中，上述步骤S302包括以下步骤：

获取第一帧的特征点的位置信息的三维坐标，建立参考坐标系；

获取后续帧的特征点的位置信息，并基于位置变换将所述后续帧的特征点转换到所述参考坐标系中，建立全局地图点。

请参阅图12，图12示出了本申请另一实施例提供的一种空间未知运动参数的信息获取方法的S103的具体实现流程图。本实施例与上一实施例的不同之处在于，本实施例提供的一种空间未知运动参数的信息获取方法中S103包含以下多个步骤，详述如下：

步骤S401：计算所述当前帧的特征点与全局地图点的特征点的最小距离。

具体地，获取当前帧的特征点与其在上述匹配操作完成后得到的对应的全局地图点的特征点(匹配对)的最小距离。

步骤S402：判断所述当前帧的特征点与所述全局地图点的特征点的最小距离是否小于预设距离阈值。

具体地，基于工程经验设置预设距离阈值，将明显误匹配的匹配对进行筛除。

具体地，通过将计算得到的匹配对的最小距离与预设距离阈值进行比较，若匹配对的最小距离小于预设距离阈值，则说明该匹配对可能是需要选取的匹配对，若匹配对的最小距离大于或等于预设距离阈值，则说明该匹配对明显是误匹配，因此将其筛除。通过设置预设距离阈值将绝大部分误匹配进行筛除，初步确定需要选取的匹配对。

步骤S403：若所述当前帧的特征点与所述全局地图点的特征点的最小距离小于预设距离阈值，则基于随机一次性采样模型计算匹配单应矩阵。

步骤S404：判断所述单应矩阵的重投影误差模型的误差是否在误差范围内。

具体地，为了进一步确认匹配对是否为准确的匹配对，在匹配对的最小距离小于预设距离阈值的条件下，基于随机一次性采样模型匹配的单应矩阵来判断匹配对转换后能否使其重投影误差模型的误差在误差范围内。

步骤S405：若所述单应矩阵的重投影误差模型的误差在误差范围内；则将所述当前帧的特征点与所述全局地图点选取为匹配对。

需要说明的是，上述选取过程是对两组匹配对分别进行选取的。当匹配对形成后，会将当前帧的特征点更新到全局地图点中，并根据匹配的描述子的更新时间，选取预设数量的匹配对。还需要说明的是，两组匹配对是指当前帧特征点的描述子与第一描述子形成的匹配对和当前帧的特征点的描述子与第二描述子形成的匹配对。

请参阅图13，图13示出了本申请另一实施例提供的一种空间未知运动参数的信息获取方法的S104的具体实现流程图。本实施例与上一实施例的不同之处在于，本实施例提供的一种空间未知运动参数的信息获取方法中S104包含以下多个步骤，详述如下：

步骤S501：基于选取的匹配对采用随机一致性采样算法确定所述目标的旋转信息。

具体地，在确定了匹配对之后，使用PNP算法求解目标的旋转信息。示例性的，采用随机一致性采用算法求解PNP问题来获取目标的旋转信息。

步骤S502：根据所述目标的旋转信息确定旋转主轴并建立旋转坐标系。

具体地，将目标的旋转信息转换为轴角的形式确定目标的旋转主轴并建立旋转坐标系。

步骤S503：通过光束法平差对所述旋转坐标系进行非线性优化，并基于自适应卡尔曼滤波器得到所述目标的旋转速度信息。

具体地，得到旋转坐标系后，通过光束法平差对该旋转坐标系进行流形优化。为了消除光束法平差求解到的结果(旋转速度信息)的误差，采用滤波器方法将结果等价为双方跟踪问题进而求解到目标的旋转速度信息。上述滤波器为自适应卡尔曼滤波器。

步骤S504：通过最小二乘匹配算法建立重投影误差模型，并根据所述重投影误差模型估计所述目标的平移信息。

具体地，对于目标的平移信息，通过建立最小二乘法建立重投影误差模型，进行解耦进而求解出目标的平移信息。

步骤S505：基于均值滤波和自适应卡尔曼滤波算法对所述目标的平移信息进行优化。

具体地，对于得到的目标的平移信息基于均值滤波和自适应卡尔曼滤波算法的结合对该平移信息进行局部优化，完成前端跟踪的过程。

请参阅图14，图14示出了本申请另一实施例提供的一种空间未知运动参数的信息获取方法的S105的具体实现流程图。本实施例与上一实施例的不同之处在于，本实施例提供的一种空间未知运动参数的信息获取方法中S105包含以下多个步骤，详述如下：

步骤S601：根据目标的运动状态确定关键帧。

具体地，通过判断帧与帧之间目标的运动状态是否达到预设阈值，上述预设阈值是根据工程经验确定的。

步骤S602：基于第一帧的图像数据建立位姿图的初始点。

步骤S603：将确定的关键帧添加到所述位姿图中。

具体地，从前端跟踪过程中，确定目标的运动状态达到阈值时，则将该数据帧更新到位姿图中。

具体地，在前端跟踪的过程中，数据帧会一帧一帧地处理，当确定到当前帧的运动状态与上一帧的位置状态达到预设阈值时，将当前帧确定为关键帧，并根据时间顺序依次将关键帧添加到位姿图中，就能得到该目标的位姿图。

步骤S604：基于回环检测算法对所述位姿图进行优化。

具体地，通过回环检测算法检测关键帧与关键帧之间的联系，若关键帧之间存在联系，则建立关键帧节点，从而形成一条边(目标的表面的边的关系)，进而实现对位姿图的优化。当位姿图的累积误差大于阈值时，进行位姿图全局优化，最后将全局优化结果更新至前端跟踪中，同时对全局地图点进行更新。最终实时获得目标运动状态结果以及目标三维几何信息(即全局地图点)。

对应于上文实施例所述的空间未知运动参数的信息获取方法，图15示出了本申请实施例提供的空间未知运动参数的信息获取系统的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图15，该空间未知运动参数的信息获取系统包括采集模块101、关联模块102、获取模块103、确定模块104以及优化模块105。

采集模块101用于采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据。

关联模块102用于根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联。

获取模块103用于根据所述数据关联结果获取匹配对。

确定模块104用于根据所述匹配对确定目标的运动参数。

优化模块105用于添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化。

可选地，上述采集模块101包括选取单元、分割单元和滤波单元。

选取单元用于根据所述目标的图像数据选取目标区域的点云图像；

分割单元用于基于颜色空间模型对所述点云图像进行图像分割；

滤波单元用于基于统计滤波对进行图像分割后的点云图像进行噪声滤波，得到所述目标区域的点云数据。

可选地，上述关联模块102包括提取单元、建立单元以及匹配单元。

提取单元用于基于特征提取算法提取所述点云数据中的特征点；

建立单元用于根据所述特征点的位置信息建立全局地图点；

匹配单元用于将当前帧的特征点的描述子分别与所述第一描述子和所述第二描述子进行匹配。

可选地，上述获取单元103包括第一计算单元、第一判断单元、第二计算单元、第二判断单元以及获取单元。

第一计算单元用于计算所述当前帧的特征点与全局地图点的特征点的最小距离；

第一判断单元用于判断所述当前帧的特征点与所述全局地图点的特征点的最小距离是否小于预设距离阈值；

第二计算单元用于若所述当前帧的特征点与所述全局地图点的特征点的最小距离小于预设距离阈值，则基于随机一次性采样模型计算匹配单应矩阵；

第二判断单元用于判断所述单应矩阵的重投影误差模型的误差是否在误差范围内；

获取单元用于若所述单应矩阵的重投影误差模型的误差在误差范围内；则将所述当前帧的特征点与所述全局地图点选取为匹配对。

可选地，上述确定单元104包括旋转信息确定单元、旋转坐标系确定单元、旋转信息确定单元、平移信息确定单元以及平移信息优化单元。

旋转信息确定单元用于基于选取的匹配对采用随机一致性采样算法确定所述目标的旋转信息；

旋转坐标系确定单元用于根据所述目标的旋转信息确定旋转主轴并建立旋转坐标系；

旋转速度信息确定单元用于通过光束法平差对所述旋转坐标系进行非线性优化，并基于自适应卡尔曼滤波器得到所述目标的旋转速度信息；

平移信息确定单元用于通过最小二乘匹配算法建立重投影误差模型，并根据所述重投影误差模型估计所述目标的平移信息；

平移信息优化单元用于基于均值滤波和自适应卡尔曼滤波算法对所述目标的平移信息进行优化。

可选地，上述优化模块105包括关键帧确定单元，位姿图初始单元、关键帧添加单元以及回环检测单元。

关键帧确定单元用于根据目标的运动状态确定关键帧；

位姿图初始单元用于基于第一帧的图像数据建立位姿图的初始点；

关键帧添加单元用于将确定的关键帧添加到所述位姿图中；

回环检测单元用于基于回环检测算法对所述位姿图进行优化。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

因此，本实施例提供的空间未知运动参数的信息获取系统同样能够通过提取目标的特征点，并建立全局地图点进行数据关联后选取匹配对来确定和局部优化目标的运动信息，并基于位姿图的建立对得到的运动信息进行全局优化，能够消除累计误差，提高测量估计结果的精度，同时保证测量与估计的实时性，保证空间未知运动目标的三维几何和运动参数的一致性，有效地解决了目前对空间未知运动目标的三维几何和运动参数的测量和估计方法存在无法保证测量的精度和一致性的问题。

图16为本申请一实施例提供的终端设备的结构示意图。如图16所示，该实施例的终端设备16包括：至少一个处理器160(图16中仅示出一个)处理器、存储器161以及存储在所述存储器161中并可在所述至少一个处理器160上运行的计算机程序162，所述处理器160执行所述计算机程序162时实现上述任意各个方法实施例中的步骤。

所述终端设备16可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器160、存储器161。本领域技术人员可以理解，图16仅仅是终端设备16的举例，并不构成对终端设备16的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器160可以是中央处理单元(Central Processing Unit，CPU)，该处理器160还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器161在一些实施例中可以是所述终端设备16的内部存储单元，例如终端设备16的硬盘或内存。所述存储器161在另一些实施例中也可以是所述终端设备16的外部存储设备，例如所述终端设备16上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器161还可以既包括所述终端设备16的内部存储单元也包括外部存储设备。所述存储器161用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器161还可以用于暂时地存储已经输出或者将要输出的数据。

示例性的，所述计算机程序162可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器161中，并由所述处理器160执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序162在所述终端设备16中的执行过程。例如，所述计算机程序162可以被分割成采集模块、关联模块、获取模块、确定模块以及优化模块，各单元具体功能如下：

采集模块，用于采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据；

关联模块，用于根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联；

获取模块，用于根据所述数据关联结果获取匹配对；

确定模块，用于根据所述匹配对确定目标的运动参数；

优化模块，用于添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种空间未知运动目标的信息获取方法，其特征在于，包括：

采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据；

根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联；

根据所述数据关联结果获取匹配对；

根据所述匹配对确定目标的运动参数；

添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化；

其中，所述全局地图点包括第一描述子和第二描述子；所述第一描述子用于描述第一帧的特征点的位置信息，所述第二描述子用于描述最新更新帧的特征点的位置信息；

所述根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联，包括：

基于特征提取算法提取所述点云数据中的特征点；

根据所述特征点的位置信息建立全局地图点；

将当前帧的特征点的描述子分别与所述第一描述子和所述第二描述子进行匹配。

2.如权利要求1所述的空间未知运动目标的信息获取方法，其特征在于，所述采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据，包括：

根据所述目标的图像数据选取目标区域的点云图像；

基于颜色空间模型对所述点云图像进行图像分割；

基于统计滤波对进行图像分割后的点云图像进行噪声滤波，得到所述目标区域的点云数据。

3.如权利要求1所述的空间未知运动目标的信息获取方法，其特征在于，

所述根据所述特征点的位置信息建立全局地图点，包括：

获取第一帧的特征点的位置信息的三维坐标，建立参考坐标系；

获取后续帧的特征点的位置信息，并基于位置变换将所述后续帧的特征点转换到所述参考坐标系中，建立全局地图点。

4.如权利要求1所述的空间未知运动目标的信息获取方法，其特征在于，所述根据所述数据关联结果获取匹配对，包括：

计算所述当前帧的特征点与全局地图点的特征点的最小距离；

判断所述当前帧的特征点与所述全局地图点的特征点的最小距离是否小于预设距离阈值；

若所述当前帧的特征点与所述全局地图点的特征点的最小距离小于预设距离阈值，则基于随机一次性采样模型计算匹配单应矩阵；

判断所述单应矩阵的重投影误差模型的误差是否在误差范围内；

若所述单应矩阵的重投影误差模型的误差在误差范围内；则将所述当前帧的特征点与所述全局地图点选取为匹配对。

5.如权利要求1所述的空间未知运动目标的信息获取方法，其特征在于，所述目标的运动参数包括旋转运动参数和平移信息；

所述根据所述匹配对确定目标的运动参数，包括：

基于选取的匹配对采用随机一致性采样算法确定所述目标的旋转信息；

根据所述目标的旋转信息确定旋转主轴并建立旋转坐标系；

通过光束法平差对所述旋转坐标系进行非线性优化，并基于自适应卡尔曼滤波器得到所述目标的旋转速度信息；

通过最小二乘匹配算法建立重投影误差模型，并根据所述重投影误差模型估计所述目标的平移信息；

基于均值滤波和自适应卡尔曼滤波算法对所述目标的平移信息进行优化。

6.如权利要求1所述的空间未知运动目标的信息获取方法，其特征在于，所述添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化，包括：

根据目标的运动状态确定关键帧；

基于第一帧的图像数据建立位姿图的初始点；

将确定的关键帧添加到所述位姿图中；

基于回环检测算法对所述位姿图进行优化。

7.一种空间未知运动目标的信息获取系统，其特征在于，包括：

采集模块，用于采集目标的图像数据，并对所述图像数据进行初始化处理，获取目标区域的点云数据；

关联模块，用于根据所述点云数据提取特征点，建立当前帧的特征点与全局地图点的数据关联；

获取模块，用于根据所述数据关联结果获取匹配对；

确定模块，用于根据所述匹配对确定目标的运动参数；

优化模块，用于添加关键帧建立位姿图，并基于所述位姿图对所述目标的运动参数进行优化；

其中，所述全局地图点包括第一描述子和第二描述子；所述第一描述子用于描述第一帧的特征点的位置信息，所述第二描述子用于描述最新更新帧的特征点的位置信息；相应的，所述关联模块包括：

提取单元，用于基于特征提取算法提取所述点云数据中的特征点；

建立单元，用于根据所述特征点的位置信息建立全局地图点；

匹配单元，用于将当前帧的特征点的描述子分别与所述第一描述子和所述第二描述子进行匹配。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

Images