CN115933652A

CN115933652A - 基于序列图像拼接融合的月球车直驱遥操作驾驶方法

Info

Publication number: CN115933652A
Application number: CN202211516376.9A
Authority: CN
Inventors: 刘传凯; 杨旭; 张作宇; 孙军; 张济韬; 王俊魁; 张浩杰
Original assignee: Beijing Aerospace Control Center
Current assignee: Beijing Aerospace Control Center
Priority date: 2022-11-29
Filing date: 2022-11-29
Publication date: 2023-04-07

Abstract

本申请公开了一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法，属于探月技术领域，其中，基于序列图像拼接融合的月球车直驱遥操作驾驶方法包括：利用月球车获取月面环境的图像序列；将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障。该方法实现了月球车的精准定位，进而实现了月球车的直驱控制。

Description

基于序列图像拼接融合的月球车直驱遥操作驾驶方法

技术领域

本申请属于探月技术领域，具体涉及一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法。

背景技术

载人车作为航天员月面环游探测的重要代步工具，具有较强的自主驾驶能力和地面遥操作支持能力。在环游探测过程中，航天员驾驶载人车在月面高效移动，且在航天员登月之前将载人车发送至月面开展无人驾驶的远距离探测实验。

如何利用天地联合的方式实现载人车的高效行驶导航是实现大范围、远距离探测的关键。然而受月面非结构化环境、车载计算能力和智能化水平等众多因素的影响，仅依靠车载导航系统还难以全自主实现高效、高安全性的全局路径规划与大范围快速移动，存在累积误差大的问题。

发明内容

本申请的目的是提供一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法以对探月车进行精准的行驶和避障控制。

根据本申请实施例的第一方面，提供了一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法，该方法可以包括：

利用月球车获取月面环境的图像序列；

将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；

根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障。

在本申请的一些可选实施例中，所述将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区，包括：

获取所述图像序列的特征匹配关系，得到配准关系；

根据所述配准关系拼接所述图像序列，获得更大区域的图像序列条带区。

在本申请的一些可选实施例中，在所述根据所述配准关系拼接所述图像序列，获得更大区域的图像序列条带区之后，所述基于序列图像拼接融合的月球车直驱遥操作驾驶方法还包括：

将所述更大区域的图像序列条带区投影到环月卫星的视角，得到长条图像数据；

将所述长条图像数据与卫星DOM影像匹配，得到高分辨率的图像序列条带区。

在本申请的一些可选实施例中，所述将所述更大区域的图像序列条带区投影到环月卫星的视角，得到长条图像数据，包括：

利用自监督的匹配学习方法学习出用于所述更大区域的图像序列条带区匹配的特征表示与匹配模型；

利用所述特征表示与所述匹配模型将所述更大区域的图像序列条带区投影到环月卫星的视角，得到长条图像数据。

在本申请的一些可选实施例中，所述根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障，包括：

获取环月卫星正射影像图的第一空间位置信息；

根据所述图像序列条带区及所述第一空间位置信息计算所述月球车的第二空间位置信息及所述月球车与驾驶路径规划点的相对位置信息。

在本申请的一些可选实施例中，所述根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障，还包括：

根据所述月球车的第二空间位置信息、所述月球车与驾驶路径规划点的相对位置信息及月地延时时间预测延迟后的预测图像。

在本申请的一些可选实施例中，所述根据所述月球车的第二空间位置信息、所述月球车与驾驶路径规划点的相对位置信息及月地延时时间预测延迟后的预测图像，包括：

根据历史控制指令拼接月球车获取的历史序列图像，得到历史拼接图像；

根据所述历史拼接图像、月球车的第二空间位置信息、所述月球车与驾驶路径规划点的相对位置信息及月地延时时间预测月球车位置图像，得到预测图像。

根据本申请实施例的第二方面，提供一种基于序列图像拼接融合的月球车直驱遥操作驾驶装置，该装置可以包括：

获取模块，用于利用月球车获取月面环境的图像序列；

拼接模块，用于将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；

控制模块，用于根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障。

根据本申请实施例的第三方面，提供一种电子设备，该电子设备可以包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的基于序列图像拼接融合的月球车直驱遥操作驾驶方法。

根据本申请实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现如第一方面的任一项实施例中所示的基于序列图像拼接融合的月球车直驱遥操作驾驶方法。

本申请的上述技术方案具有如下有益的技术效果：

本申请实施例方法通过利用月球车获取月面环境的图像序列；将图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；并根据图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制月球车行驶与避障，实现了月球车的精准定位，进而实现了月球车的直驱控制。

附图说明

图1是本申请一示例性实施例中基于序列图像拼接融合的月球车直驱遥操作驾驶方法流程图；

图2是本申请一示例性实施例中使用狄洛尼三角剖分对图像特征点进行构图流程；

图3是本申请一示例性实施例中月面图像拼接示意图；

图4是本申请一示例性实施例中月面图像拼接投影示意图；

图5是本申请一示例性实施例中正交视图生成示意图；

图6是本申请一示例性实施例中特征描述子的构造示意图；

图7是本申请一示例性实施例中表示对应关系的分配矩阵示意图；

图8是本申请一示例性实施例中像素标签示意图；

图9是本申请一示例性实施例中电子设备结构示意图；

图10是本申请一示例性实施例中电子设备的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本申请进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。

在附图中示出了根据本申请实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的基于序列图像拼接融合的月球车直驱遥操作驾驶方法进行详细地说明。

如图1所示，在本申请实施例的第一方面，提供了一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法，该方法可以包括：

S110：利用月球车获取月面环境的图像序列；

S120：将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；

S130：根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障。

上述实施例方法通过利用月球车获取月面环境的图像序列；将图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区；并根据图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制月球车行驶与避障，实现了月球车的精准定位，进而实现了月球车的直驱控制。

为了更加清楚的说明，下面对于上述步骤进行分别介绍：

首先是步骤S110：利用月球车获取月面环境的图像序列。

本步骤是利用月球车导航相机实时拍摄的月球画面，并将该图像传送至地球控制中心。

接下来是步骤S120：将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区。

本步骤是将月面下传图像序列投影到卫星正射影像图的视角(近似水平视角)，在此视角下进行图像匹配与拼接融合，形成图像序列条带区；序列图像拼接形成的长条图像数据可以与卫星DOM影像匹配，形成分辨率更高的DOM影像，作为遥操作驾驶的输入场景。

通过导航投影图像与环月卫星图像匹配可以获得载人月球车定位信息，但是直接匹配严重受限于导航相机和环月卫星拍摄视角差异、光照差异、单张导航图像有限的纹理信息等因素。通过寻找导航相机图像序列中图像的特征匹配关系，获得导航序列图像之间的配准关系，进而拼接导航序列图像获得更大区域的视觉信息。进一步基于表面法向量的正射视图生成方法将导航相机拼接图像投影到环月卫星接近的视角下，生成高分辨率投影图，提供给后续的载人月球车定位环节。在这个过程中，拟通过引入结构约束和高效图优化克服月面环境弱纹理、光照条件变化剧烈等导致的匹配困难。

环月卫星图像中空间位置信息可以通过三角化等技术获得，基于此通过导航投影图像与环月卫星图像的匹配即可估计出载人月球车的空间位置信息及其与驾驶路径规划点的相对位置信息。由于导航投影图像与环月卫星图像显著的图像尺度差异、域(光照、风格等)差异、重复纹理等，传统基于复杂纹理特征的图像匹配方法难以奏效，拟通过基于自监督的匹配学习方法自动学习出用于两种图像匹配的特征表示与匹配模型，实现载人月球车的鲁棒定位。

载人月球车所处的月面环境具有外观纹理弱、纹理相似度高、光照条件变化剧烈等特点，显著提高导航序列图像匹配难度，因此以下方案采用基于学习导航相机序列图像特征点检测和描述，通过引入结构约束基于图匹配建模特征对应问题，并针对载人月球车效率要求提出基于连续法的高效图优化算法。

基于学习的导航相机序列图像特征点检测和描述

传统手工设计的特征点提取与描述方法，如SIFT等，在导航相机序列图像上性能明显下降。针对月面环境的特殊性，拟使用基于深度学习特征提取与描述对导航相机序列图像进行特征检测和描述。与传统方法先检测后描述的思路不同，通过设计一种自监督网络框架将检测和描述同时进行，从而同时获取特征点的位置和描述子。通过提出一种单应性适应的策略，通过对图像进行多次不同的尺度和角度变换来帮助网络能够在不同视角不同尺度观测到特征点，以增强特征点的重复检测率以及从合成数据集到真实数据集跨域的实用性。具体来说，网络结构可以采用一种全卷积神经网络的结构，特征点检测器与描述子网络共享一个单一的前向编码器，只在解码器部分采用不同的结构，分别产生特征点位置和固定长度的描述符。

结构约束通过引入附加的二阶信息(点对间距离、方向等)可以显著提升弱特征的匹配效果，这时特征对应问题可以建模为图匹配。使用图匹配的方法前，需要基于导航相机图像被检测出的特征点构造图结构。狄洛尼三角剖分是离散分布的点集的一种三角剖分，使得点集中所有点均不严格处于任意一个三角形的外接圆的内部，可以尽量避免狭长三角形的出现，使得三角网格整体质量保持最优，如图2所示。具体来说，使用分治法进行狄洛尼三角剖分构图，首先需要对点集中的所有点按照X坐标的升序进行排序，X坐标相同时，按照Y坐标进行排序，然后将整个点集递归地划分为数量相近的两个子集，直到子集中点的数目小于等于3，最后逐渐选取最优点连接左右子集进行合并，最终完成三角剖分。

引入图结构约束的导航相机图像特征点匹配

导航相机序列图像之间的直接匹配严重受限于月面环境弱纹理、光照条件变化剧烈等因素，具有结构约束的图匹配可以克服直接匹配的困难。

图匹配问题旨在建立给定图的顶点集之间的对应关系，同时保持它们边集的一致性。给定一个属性加权图G，其特征集合记为G＝{V^G,E^G,A^G,W^G}。图G的顶点集合V^G＝{1,2,...,M}，边集E^G＝{e₁ ^G,e₂ ^G,...,e_p ^G}，顶点属性集合A^G＝{a₁ ^G,a₂ ^G,...,a_M ^G}，边权重集合W^G＝{w₁ ^G,w₂ ^G,...,w_p ^G}，其中M和p分别代表图G的顶点数和边数。基于顶点数为M的属性加权图G和顶点数为N的属性加权图H的特征集合定义图匹配问题，需要预先获取二者之间的相似度矩阵S∈R^MN×MN，定义为

其中S^V(a_i ^G,a_u ^H)代表图G的顶点i和图H的顶点j之间的相似度，S^E(w_{i,j} ^G,w_{u,v} ^H)代表图G的边{i,j}和图H的边{u,v}之间的相似度，

两种类型的相似性度量已根据先验信息进行规范化和加权。基于给定的S，图匹配可以定义为一个如下的0-1二次指派问题

其中，矩阵X∈{0,1}^M×N是顶点集之间的分配矩阵，vec(X)是矩阵X的向量形式，X_iu＝1表示将图G的顶点i和图H的顶点j匹配。上述目标函数表示在约束条件C下找到一组顶点间的匹配，使得顶点和边上的总相似度达到最大。关于分配矩阵X的一个基本约束是一对一匹配约束，即图G中的1个顶点至多只能匹配图H中的1个顶点，反之亦然。矩阵X上通常还有其他附加约束，这些约束对应不同匹配任务。

基于连续法的高效图优化

图匹配问题是一个NP完全问题，获得全局解的计算成本很高，因此，近似方法是必要的，需要将离散图匹配问题的目标函数正则化，松弛近似为一个无约束连续优化问题。但由于此无约束连续优化问题的目标函数是高度非凸的，因此使用连续方法最大化目标函数。它从一个凸优化问题开始，逐步转化为正则化的目标函数。

定义一个正则化函数J(X)合并图匹配的目标函数和其约束，相应地将原始离散优化问题替换为以下无约束连续优化问题

其中，正则项D(X)与具体的约束C相关。

由于导航相机序列图像之间的匹配一定存在外点，因此定义如下的约束

其中L表示图G和图H的公共内点数量。与约束C对应的正则项为

D(X)＝-D_a(X)-D_b(X)-D_c(X)-D_d(X)

其中

为了省去昂贵的计算，需要对正则化函数继续使用高斯平滑进行近似。经过高斯平滑后的正则化函数最终表示为

通过逐渐改变σ，可以得到初始凸优化函数以及后续连续过程的目标函数序列。

通过设置σ的值从无穷大到0，优化问题逐渐从初始的凸优化问题转变为正则化目标函数的最大化问题，在此过程中，每个具有特定σ的子问题由前一个子问题的解初始化。沿着一条路径，连续解序列将逐渐接近离散域。连续方法优化的具体步骤如下。

首先，初始化X为:

使得σ的初始值只需要设为一个相对较大的正数，不需要设为无穷大。其次，对于每个具有特定σ的子问题，使用条件梯度上升法代替常用的梯度上升法，以加速收敛，并达到更接近离散域的解。最后，使用自适应的方法调整σ，其主要思想是当相邻两个子问题的连续解之差太小时将其加倍，当差值太大时取其一半。

通过以上图优化步骤，可以有效降低图匹配运算复杂度，提升运算效率，满足载人月球车导航序列图像特征匹配的效率要求。

载人月球车携带的导航相机成像距离范围有限，地月传输信道带宽极其受限，使得地面所接收到的导航相机图像具有视野范围小、分辨率低的特点，图像包含的特征信息贫瘠。为了使导航相机图像包含更丰富的特征信息，便于后续的空地匹配，需要将导航相机序列图像融合成一个视野范围更大、分辨率更高的拼接图像。

图像拼接技术是计算机视觉领域的重要技术，旨在将两个或多个具有重叠区域的图像融合成广角图或全景图，如图3所示。它主要分为两个步骤：配准和融合。基于上述图匹配方法，可以得到导航相机序列图像之间的特征匹配关系，进而通过最小化马尔科夫随机场上的能量函数，同时消除局部扰动、拼接缝和重影，最终获取平滑的导航相机拼接图像。

如图4所示，将导航相机拼接图像投影到环月卫星接近的视角下，可使后续的空地匹配更加容易。给定拼接图像的主平面区域，首先基于双目相机深度估计得到深度信息并计算曲面的表面法向量，然后基于表面法向量生成导航相机拼接图像的正射视图。

假设固定一台拍摄正射视图的虚拟相机，其光轴与表面法向量反平行。使用虚拟相机定位拍摄的图像与原始导航相机拍摄的图像通过单应矩阵H_ortho进行关联，如图5所示。首先，使用罗德里格斯旋转公式计算旋转矩阵

其中向量o是真实相机的光轴，向量n是表面法向量，向量v是同时垂直于o和n的向量，I是单位矩阵。然后，使用旋转矩阵R计算单应矩阵，进而获取正交视图：

x′＝K[R|t]λK^-1x

x′＝H_orthox

其中x和x’分别是原始视图和正交视图，K为相机的内参数矩阵，t为固定平移，λ对应深度信息。

为了实现载人月球车在卫星影像上的绝对导航定位，需要确定月球车导航相机投影图像与环月卫星图像之间的匹配对应关系。受月球车导航相机图像和卫星DOM图像之间分辨率差异的影响，直接进行图像的匹配往往十分困难。因此，首先分析导航相机图像的空间分辨率，并求解卫星影像和导航相机投影图像的尺度对应关系，从而将卫星图像和导航相机投影图像统一到近似尺度下，再进一步完成匹配关系。

除了尺度差异外，由于导航相机图像和卫星图像之间光照条件、位姿等条件的不同，传统的提取手工特征点——进行特征点匹配的流程效果不佳。因此，采用深度学习的方法提取特征并完成匹配。

提取特征的方法是首先探测特征点的空间位置，然后进行特征点的描述与表征。采用卷积神经网络(CNN)来提取特征并构建描述子。通常的特征点探测方法是基于图像低层次信息的，仅仅考虑小区域的图像信息。但考虑到图像的低层次特征，也即描述内容与细节的特征非常容易受到外观、光照等条件的影响，很难在月球车导航相机图像和卫星图像上保持鲁棒性。基于此，考虑将描述阶段和特征的检测同时进行，首先输入图像I，通过卷积神经网络，提取的得到特征张量F∈R^h×w×n，其中h，w分别是特征图的宽度，n是通道数。

如图6所示，D_k可以看作是第k个特征提取器所得到的特征图，构造描述子d_ij。

D^k＝F_::k，D^k∈R^h×w

d_ij＝F_ij：，d∈Rⁿ

得到描述子d_ij后，为了保证反向传播的顺利进行，通常采用软方式来得到检测分数s_ij：

计算在邻域内的softmax分数

计算通道上的分数

空间邻域和通道上的分数结合确定检测分数

归一化处理得到最终检测分数s_ij：

其中N(i，j)表示点(i，j)的邻域。

基于CNN得到的特征点往往受到感受野的限制，导致更加专注于局部信息。然而，受月球表面弱纹理因素的影响，小范围的局部区域不足以提供鲁棒的匹配，需要更加高层次的语义信息。

同时，导航相机与卫星图像之间的不同的风格、光照条件使得特征无法直接用于匹配。因此，引入图结构和注意力机制来实现特征的匹配。

将图像对中所有图像特征点作为图的顶点，构造全连接图，由前一步得到的特征描述子向量进行位置编码后作为作为初始的顶点嵌入，即：

其中

是第i个顶点嵌入，d_i是描述子向量，p_i是对应的位置向量。

为了融合不同域的特征，采用注意力机制进行信息传递：对于第l层的结点i和它的邻结点j∈N(i)，分别计算查询向量

键向量

和值向量

然后计算结点i从它的邻结点j所收集到的信息：

使用收集到的信息对嵌入向量进行更新：

其中[·||·]表示向量的连接。

经过L次更新后，再经过投影得到融合后的特征：

将图像的特征匹配问题视作最优传输(optimal transport)问题，记分配矩阵为P，如图7所示，则满足：

P∈[0，1]^M×N，P1_N≤1_M，P^T1_M≤1_N

其中M，N分别是两图像的特征点数量(即图的顶点数)。

最终的目标是：

其中S是相似度矩阵，S_ij表示第一个图中第i个顶点向量和第二个图中第j个顶点向量的相似度。

为了减小计算代价，加入正则化，即：

进而可以用可微分软分配算法(如Sinkhorn算法等)求解得到最终的分配矩阵P，从而得到了特征点的对应关系。

整个匹配网络可以通过自动变换形成匹配对进行训练，然后迁移到手工标注的少量匹配图像微调模型。

得到特征的对应关系后，即可进一步完成图像对之间的单应变换和姿态估计，从而得到月球车导航相机和卫星之间的位置关系，完成月球车在卫星地图上的定位。

由于信号从月球传递到地球需要不可忽略的延迟，采用预测图像作为遥操作驾驶直驱模式的输入。通过地面驾驶员的历史控制指令，得到延迟时间段内的导航相机位姿变换，进而确定图像之间的变换关系，预测出直驱驾驶所需的导航图像。由于月面路况的复杂性和移动拍摄的原因，历史图像序列往往会出现拼接缝的问题，为了给地面驾驶员提供光滑的预测图像，基于高效能量函数最小化的方法，消除图像之间的拼接缝。

图像拼接问题的表示，如图8所示：给定源图像集I＝{I₁，I₂，...，I_k},以及对应的标签集合L＝{l₁，l₂，...，l_k}，其中k是图像序列的数量。那么该问题可以等价于，将最终生成图像的每一个像素都分配一个标签，于是图像拼接转化成了给像素标签的问题。即找到一个构图函数F：

F：P→L；P＝{p₁，p₂，...p_n}F＝{f₁，f₂，...f_n}

其中n是最终生成图像的像素点个数，f_i代表像素点p_i的标签。

为了得到光滑的预测图像，最小化构造的能量函数：

其中S(p，f_p)表示数据能量函数，用于惩罚将标签f_p分配给像素p，V_pq(f_p，f_q)表示光滑性的能量函数，用于惩罚像素p和邻域像素的不一致性，分别定义如下：

其中有效像素表示原始图像中的像素，而不是填充的像素。

其中{p，q}∈N表示{p，q}相邻。

由以上公式可知，当邻像素来自于同一个图像时，惩罚转化成了所选图像中邻域像素间的不一致性。因此，邻域像素更倾向于选择具有更强一致性的标签而不是同一幅图像的标签。由此可见，当它应用于地形复杂，受较大运动噪声的导航相机图像序列时，仍然能够形成光滑的拼接图像。

最终需要求解最小化能量函数E(F)的问题，它是一个NP-hard问题，采用GNCCP算法对它进行近似求解：

首先初始化分配向量x,然后分别如下三个公式迭代操作直到收敛为止：

x←x+α(y-x)

计算出每个像素的标签后，就可以基于每个像素的标签直接获得最终的合成图像。然后引入梯度域重建技术作为后处理，以进一步提高一致性。梯度域重建不是直接使用像素强度，而是根据标签结果采用配准图像的梯度。

最终拼接结果通过求解泊松方程得到：

其中C代表最终图像，

表示梯度算子，Ω表示图像C的边界。

通过以上基于多标签能量最小化过程，可以有效应对月面路况的复杂性和移动拍摄的原因导致的拼接缝问题，从而为给地面驾驶员提供光滑的预测图像。

获取所述图像序列的特征匹配关系，得到配准关系；

获取环月卫星正射影像图的第一空间位置信息；

需要说明的是，本申请实施例提供的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，执行主体可以为月球车控制装置，或者该月球车控制装置中的用于执行月球车控制的方法的控制模块。本申请实施例中以月球车控制装置执行月球车控制的方法为例，说明本申请实施例提供的月球车控制的装置。

在本申请实施例的第二方面，提供一种基于序列图像拼接融合的月球车直驱遥操作驾驶装置，该装置可以包括：

获取模块，用于利用月球车获取月面环境的图像序列；

本申请实施例中的月球车控制装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的月球车控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的月球车控制装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图9所示，本申请实施例还提供一种电子设备900，包括处理器901，存储器902，存储在存储器902上并可在所述处理器901上运行的程序或指令，该程序或指令被处理器901执行时实现上述基于序列图像拼接融合的月球车直驱遥操作驾驶方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图10为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述基于序列图像拼接融合的月球车直驱遥操作驾驶方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述基于序列图像拼接融合的月球车直驱遥操作驾驶方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，包括：

利用月球车获取月面环境的图像序列；

2.根据权利要求1所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，所述将所述图像序列投影到环月卫星正射影像图的视角，并进行图像匹配与拼接融合，形成图像序列条带区，包括：

获取所述图像序列的特征匹配关系，得到配准关系；

3.根据权利要求2所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，在所述根据所述配准关系拼接所述图像序列，获得更大区域的图像序列条带区之后，所述基于序列图像拼接融合的月球车直驱遥操作驾驶方法还包括：

4.根据权利要求3所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，所述将所述更大区域的图像序列条带区投影到环月卫星的视角，得到长条图像数据，包括：

5.根据权利要求1所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，所述根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障，包括：

获取环月卫星正射影像图的第一空间位置信息；

6.根据权利要求5所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，所述根据所述图像序列条带区、月地延时时间和月球车的历史运动控制指令，控制所述月球车行驶与避障，还包括：

7.根据权利要求6所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法，其特征在于，所述根据所述月球车的第二空间位置信息、所述月球车与驾驶路径规划点的相对位置信息及月地延时时间预测延迟后的预测图像，包括：

8.一种基于序列图像拼接融合的月球车直驱遥操作驾驶装置，其特征在于，包括：

获取模块，用于利用月球车获取月面环境的图像序列；

9.一种电子设备，其特征在于，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的基于序列图像拼接融合的月球车直驱遥操作驾驶方法的步骤。