CN113199469B - 空间机械臂系统、空间机械臂系统的控制方法及存储介质 - Google Patents

Abstract

本申请公开了一种空间机械臂系统、空间机械臂系统的控制方法及存储介质。该空间机械臂系统包括监控主机以及分别与所述监控主机相连接的图像采集模块、生物电信号采集模块、AR眼镜模块和机械臂；图像采集模块用于采集图像；监控主机用于处理图像，并发送处理后的图像；AR眼镜模块用于接收并显示处理后的图像；生物电信号采集模块用于采集航天员的生物电信号；监控主机还用于处理生物电信号，并发送相应的控制指令；机械臂用于接收所述控制指令并根据所述控制指令运动。本申请的空间机械臂系统使航天员能够高效率地作业，不需要其他额外的人工操作，从而节约了人力成本，系统自动化程度高、工作效率高，能够很好地满足实际应用需要。

Description

空间机械臂系统、空间机械臂系统的控制方法及存储介质

技术领域

本申请涉及空间机械臂技术领域，具体涉及一种空间机械臂系统、空间机械臂系统的控制方法及存储介质。

背景技术

随着航天技术的进步和完善，人类航天活动日愈频繁。空间站运营、月面勘探活动以及未来地外基地建设，往往需要航天员在恶劣、未知的非结构化环境下完成架设维修装备仪器、收集地外标本、建造星球基地等具有挑战性的任务。在未来星际航行和长期在轨任务中，由于通讯延迟和在轨时间延长的影响，地面指挥系统对航天员的支持受到不同程度的制约，也需要提高航天员自主获得信息支持的能力。特别是针对航天员控制空间机械臂作业过程中，仅仅依靠单人使用传统的人机交互技术，如鼠标、键盘等已经无法高效的完成任务，太空失重环境给增强现实软硬件系统的适用性带来一系列挑战。

传统的用户界面已经无法适应航天员穿着航天服控制空间机械臂的交互场景，越来越多的学者在新型界面范式、人性化交互设计以及评估方法与模型等方面展开探索。

目前的空间机械臂系统及控制方法主要基于相机图像的信息在舱内或地面进行远程遥控操作，二维图像立体感差，且需要舱内航天员根据机械臂末端承载的航天员的需求进行人工协同动态调整机械臂，自动化程度低，人力需求大，工作效率较低。

综上所述，需要发展一种工作效率高、自动化程度高且能够满足实际应用的空间机械臂系统和控制方法。

发明内容

本申请的目的是提供一种空间机械臂系统、空间机械臂系统的控制方法及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种空间机械臂系统，包括监控主机以及分别与所述监控主机相连接的图像采集模块、生物电信号采集模块、AR眼镜模块和机械臂；

所述图像采集模块用于采集图像；

所述监控主机用于处理所述图像，并发送处理后的图像；

所述AR眼镜模块用于接收并显示所述处理后的图像；

所述生物电信号采集模块用于采集航天员的生物电信号；所述生物电信号是所述航天员响应于所述处理后的图像所产生的；

所述监控主机还用于处理所述生物电信号，并根据处理后的生物电信号发送相应的控制指令；

所述机械臂用于接收所述控制指令并根据所述控制指令运动，以使自身的末端所承载的所述航天员到达相应位置并使所述航天员达到相应身体姿态。

进一步地，所述生物电信号采集模块包括肌电信号采集模块和/或脑电信号采集模块；

所述肌电信号采集模块用于采集所述航天员的肌电信号；

所述脑电信号采集模块用于采集所述航天员的脑电信号。

进一步地，所述脑电信号采集模块包括多个分别与所述监控主机相连接的电极；所述电极设置于所述航天员的头部且与头皮相接触，用于采集脑电信号。

进一步地，所述肌电信号采集模块包括多个分别与所述监控主机相连接的肌电传感器；所述肌电传感器设置于所述航天员的皮肤的预设位置上，用于采集所述预设位置的肌电信号。

进一步地，所述AR眼镜模块包括SSVEP诱发单元，所述SSVEP诱发单元用于响应于所述航天员的眼睛的注视动作产生相应的电信号，并将所述相应的电信号发送给所述监控主机。

进一步地，所述监控主机还用于对所述相应的电信号进行处理以获得所述航天员的控制指令，并发送所述航天员的控制指令。

进一步地，所述图像采集模块包括多个摄像头，每个所述摄像头分别与所述监控主机相连接，所述多个摄像头用于采集不同视野的图像。

进一步地，所述机械臂为六自由度机械臂或七自由度机械臂。

根据本申请实施例的另一个方面，提供一种上述任一项技术方案所述的空间机械臂系统的控制方法，包括：

所述图像采集模块采集图像；

所述监控主机处理所述图像，并发送处理后的图像；

所述AR眼镜模块接收并显示所述处理后的图像；

所述生物电信号采集模块采集航天员的生物电信号；所述生物电信号是所述航天员响应于所述处理后的图像所产生的；

所述监控主机处理所述生物电信号，并根据处理后的生物电信号发送相应的控制指令；

所述机械臂接收所述控制指令并根据所述控制指令运动，使自身的末端所承载的所述航天员到达相应位置并使所述航天员达到相应身体姿态。

进一步地，所述监控主机处理所述图像，包括：

利用预先构建并训练好的图像处理模型对所述图像采集模块所采集的图像进行去噪处理，得到去噪后的图像；

利用预先构建并训练好的相似度判定网络计算所述去噪后的图像与去噪前的图像之间的相似度；

判断所述相似度是否达到预设阈值；

若达到，则将所述去噪后的图像作为处理后的图像；

否则，转向所述利用预先构建并训练好的图像处理模型对所述图像采集模块所采集的图像进行去噪处理，直至相似度达到预设阈值为止；

其中，所述预先构建并训练好的图像处理模型包括上下两层结构相同的卷积神经网络结构、全局残差模块、连接层和卷积层；两个所述卷积神经网络结构的输入分别用于接收所述图像采集模块所采集的图像，两个所述卷积神经网络结构的输出均连接到所述连接层，所述连接层的输出连接到所述卷积层的输入，所述全局残差模块的输入用于接收所述图像采集模块所采集的图像，所述全局残差模块的输出连接到所述卷积层的输入。

根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的控制方法。

本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：

本申请实施例提供的空间机械臂系统，机械臂末端的航天员能够通过AR眼睛模块观察图像采集模块所采集的图像，图像信息呈现效果好，提高了航天员对图像信息的接收效率和接收效果，生物电信号采集模块能够有效采集航天员的生物电信号，监控主机通过处理生物电信号能够分析出航天员控制意图，从而能够发送相应的控制指令以控制机械臂使航天员达到准确的位置以及达到准确的身体姿态，使航天员能够高效率地作业，不需要其他额外的人工操作，从而节约了人力成本，系统自动化程度高、工作效率高，能够很好地满足实际应用需要。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请的一个实施例的空间机械臂系统的结构框图；

图2示出了本申请的一个实施例中脑电信号采集模块的各个电极在航天员头皮上的分布图；

图3示出了本申请的一种实施方式的空间机械臂系统的控制方法流程图；

图4示出了本申请的一种实施方式中的图像处理模型的结构框图；

图5示出了本申请的一种实施方式中的相似度判定网络的结构框图；

图6示出了本申请的另一实施方式的空间机械臂系统的控制方法流程图；

图7示出了本申请的一个实施例的计算机可读存储介质的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

如图1所示，本申请的一个实施例提供了一种空间机械臂系统，包括监控主机以及分别与该监控主机相连接的图像采集模块、生物电信号采集模块、AR眼镜模块和机械臂。生物电信号采集模块可以包括肌电信号采集模块和脑电信号采集模块。

图像采集模块用于采集图像；图像采集模块包括多个摄像头，每一个摄像头对应拍摄不同的区域，每一个摄像头与监控主机相连接，这些摄像头用于采集不同视野的图像，并将拍摄的图像发送给监控主机。

监控主机用于处理图像采集模块所采集的图像，并将处理后的图像发送到AR眼镜模块。监控主机可以是计算机，放置于太空航天器内。

AR眼镜模块用于显示处理后的图像。AR眼镜模块的AR眼镜佩戴在航天员眼镜上，航天员根据AR眼镜显示的图像判断需要调整的方向上有无碰撞风险。

在某些实施方式中，AR眼镜模块包括SSVEP诱发单元，SSVEP诱发单元用于响应于航天员的眼睛的注视动作产生相应的电信号，并将相应的电信号发送给监控主机。

肌电信号采集模块用于采集人体的肌电信号。当需要进行相应的控制时，航天员作出肌肉动作，肌电信号采集模块会采集到肌肉动作所产生的肌电信号，并将肌电信号发送到监控主机。

在某些实施方式中，肌电信号采集模块包括多个分别与监控主机相连接的肌电传感器；肌电传感器设置于航天员的皮肤的预设位置上，用于采集该预设位置的肌电信号。例如，将肌电传感器固定在宇航员的手腕皮肤上，手腕动作时，肌电传感器能够采集到手腕的肌电信号。

在某些实施方式中，肌电信号采集模块包括设置于航天员手腕上的腕带模块，腕带模块包括肌电传感器，腕带模块用于采集航天员作出不同手势时手腕部的肌电信号，不同的手势对应产生不同的肌电信号，不同的肌电信号对应不同的控制指令，监控主机对肌电信号进行处理分析得到对应的控制指令。

脑电信号采集模块用于采集人体的脑电信号。当需要进行相应的控制时，航天员脑部产生脑电信号，肌电信号采集模块会采集到脑电信号并将脑电信号发送到监控主机。

脑电信号采集模块包括多个电极，各电极分别与监控主机相连接。电极可以采用干电极。各电极设置于航天员的头皮上，与头皮相接触，用于采集脑电信号。电极在头部的分布采用国际10-20标准。如图2所示，本申请实施例采用的是64通道中的9导，分布在大脑的枕区，这些电极分别为P3、Pz、P4、PO3、POz、PO4、O1、Oz、O2，参考电极位于头顶位置，接地电极位于前额叶位置。

监控主机还用于处理上述的肌电信号以及上述的脑电信号，并根据处理后的肌电信号以及处理后的脑电信号向机械臂发送相应的控制指令。监控主机会对肌电信号和脑电信号进行分析处理，获得相应的控制指令，然后将控制指令发送给机械臂以控制机械臂的运动。

具体地，脑电信号用于控制机械臂末端的位置，即机械臂末端的三维坐标，通过脑电信号分析出的指令用于控制机械臂末端在前、后、左、右、上、下六个方向的移动。肌电信号用于控制机械臂末端实现俯仰、偏航、滚转的动作，从而对机械臂末端承载的航天员的姿势进行调整。

AR眼镜模块和脑电信号采集模块可以集成在航天员的头盔内。

机械臂为六自由度机械臂。机械臂用于根据控制指令运动，以使自身的末端到达相应位置以及使末端承载的航天员达到相应身体姿态。机械臂的末端承载航天员，用于将航天员运送至舱外产品安装或维修的作业点，航天员根据自己操作舱外产品时对位置和身体姿态的需求控制机械臂将自己移动到合适位置，位置调整有三个维度：前后、左右、上下，身体姿态调整有三个维度：抬头低头、左偏右偏、顺时针旋转和逆时针旋转。

本申请实施例的空间机械臂系统主要用于航天员执行空间站舱外作业任务，通过机械臂将航天员送达作业点后航天员根据舱外操作的需求，控制机械臂将自己调整到适合进行作业的位置和身体姿态。航天员到达作业点后，进行位置和身体姿态调整，直至调整到能够进行作业的位置和身体姿态。

例如，如果需要进行位置调整，则航天员可以作出咬合牙齿的动作，肌电信号采集模块采集到咬合牙齿这一动作的肌电信号，将该肌电信号发送给监控主机，监控主机根据处理该肌电信号获得相应指令，将指令发送到AR眼镜模块，AR眼镜模块根据该指令调出AR眼镜中的SSVEP诱发单元，然后SSVEP诱发单元响应于航天员注视相应的指令控件的动作产生相应的电信号，并将相应的电信号发送给监控主机。脑电信号采集模块会采集脑电信号，并进行处理，根据处理后的脑电信号判断出航天员的意图并解析为控制指令，通过监控主机将控制指令传输给机械臂执行相应操作。如果需要进行身体姿态调整，则通过执行某一个手势激活腕带模块，然后执行不同身体姿态所对应的手势，肌电信号采集模块会采集腕部的肌电信号，并进行处理，判断出航天员的意图并解析为控制指令，通过监控主机传输给机械臂执行相应动作。

SSVEP诱发单元可选的一种实现方式可以是在AR眼镜中设计一组代表不同指令的控件，控件的形状例如可以为矩形，不同控件的亮度随时间的变化规律为具有不同频率和相位的正弦函数波形。SSVEP，英文全称Steady-State Visual Evoked Potentials，即稳态视觉诱发电位。控件亮度周期性变化，每一个控件闪烁频率不同，当人眼注视某一控件时，受到控件闪烁频率的影响，脑电波的频率、幅值也会提升，从而通过检测分析脑电信号即可以识别出用户所注视的控件。

本申请实施例提供的空间机械臂系统，机械臂末端的航天员能够通过AR眼睛模块观察图像采集模块所采集的图像，图像信息呈现效果好，提高了航天员对图像信息的接收效率和接收效果，生物电信号采集模块能够有效采集航天员的生物电信号，监控主机通过处理生物电信号能够分析出航天员控制意图，从而能够发送相应的控制指令以控制机械臂使航天员达到准确的位置以及达到准确的身体姿态，使航天员能够高效率地作业，不需要其他额外的人工操作，从而节约了人力成本，系统自动化程度高、工作效率高，能够很好地满足实际应用需要。

如图3所示，本申请的另一个实施例提供了一种上述任一实施方式的空间机械臂系统的控制方法，包括：

S10、图像采集模块采集图像。

具体地，图像采集模块的多个摄像头采集不同视野的图像，并将采集的图像发送给监控主机。

S20、监控主机处理该图像，并发送处理后的图像。

监控主机对各摄像头所采集的图像进行处理(例如去噪处理等)后，将处理后的图像发送给AR眼镜模块。

由于图像在采集的过程中、数字化的过程中以及在传输的过程中经常会受到成像设备以及外部环境噪声干扰的影响，在太空环境中采集的图像所包含的噪声往往更多，所以监控主机所接收到的图像通常是含有大量噪声的图像，这些含有大量噪声的图像被称为含噪图像或噪声图像。因此，在某些实施方式中，监控主机处理该图像的步骤主要包括对该图像进行去噪处理的步骤。

具体地，监控主机对该图像进行去噪处理的步骤包括：

S201、利用预先构建并训练好的图像处理模型对图像采集模块所采集的图像进行去噪处理，得到去噪后的图像。

如图4所示，预先构建并训练好的图像处理模型包括上下两层结构相同的卷积神经网络结构(分别称为上层卷积神经网络结构和下层卷积神经网络结构)、全局残差模块、连接层和卷积层。两个卷积神经网络结构的输入分别接收图像采集模块所采集的图像，两个卷积神经网络结构的输出连接到连接层(Concat)，连接层的输出连接到卷积层的输入，全局残差模块的输入用于接收图像采集模块所采集的图像，全局残差模块的输出连接到卷积层的输入。上下两层结构相同的卷积神经网络能够提升模型的宽度，不同层的卷积神经网络能够提取出更丰富的特征，能够更好地映射到去噪图像中。

卷积神经网络结构包括依次连接的卷积层、Relu激活层、6个卷积块和卷积层，每个卷积块由卷积层、归一化层、Relu层依次连接组成。其中通过一个全局残差，直接将输入的图像传到最后一层特征前并进行融合，最后再经过一次卷积后输出去噪后的图像。现有技术的归一化层经常采用BN，然而BN高度依赖于mini-batch的大小，实际使用中需要对mini-Batch大小进行约束，BN实际使用时需要计算并且保存某一层神经网络mini-batch的均值和方差等统计信息，计算较为复杂，影响效率。为了克服BN所存在的缺陷，本实施例中的归一化层采用LN(Layer Normalization)，与现有技术的神经网络模型中常采用的BN相比，LN的方法是对于每一个sample中的多个feature(也就是channel)进行归一化操作。把图像的尺寸表示为[N,C,H,W]的话，LN则是对于[C,H,W]进行归一化。相对于BN中所表示的同一个feature在不同的batch之间拥有同样的均值和方差。LN中所表示的则是在同一个sample中，不同的feature上有着相同的均值和方差。与BN相比，LN不依赖于mini-batchsize的大小，计算较为简单，效率高。

本实施例的图像处理模型具有输入灵活性，模型的网络深度为22层，除了最后一个卷积层，其余卷积层的卷积核大小均为64×3×3×64，最后一层卷积层的卷积核大小为64×3×3×3，该模型不限制输入图像的大小，并引入一个全局残差模块将噪声图像的特征直接传递到输出，使图像处理模型能够保留更多的图像特征。

S202、利用预先构建并训练好的相似度判定网络计算去噪后的图像与去噪前的图像之间的相似度，判断该相似度是否达到预设阈值；若相似度达到预设阈值，则将该去噪后的图像作为处理后的图像；若相似度未达到预设阈值，则转向步骤S201，直至相似度达到预设阈值为止。

采用一个相似度判定网络来判断去噪后的图像与原图像(即去噪前的图像)是否相似，相似度判定网络采用一个全卷积神经网络对原图像和去噪后的图像分别进行特征提取。

如图5所示，该相似度判定网络的结构共包括6层卷积层，每一层都使用Relu激活函数，其中第二层和第四层卷积核使用步长为2的卷积核，最后一层激活函数为Sigmoid函数，前5层卷积核大小均为64×3×3×64，最后一层卷积核大小为64×3×3×1。相似度判定网络输出一个N×N矩阵，该矩阵中的每一个元素代表原图像中的一个区域块。元素的值代表处理后的图像中的区域块与原图像中的对应区域块之间的相似度，然后求该N×N矩阵的平均值，该平均值即处理后的图像与原图像之间的相似度。

本实施例采用对抗损失和重构损失的加权和：

Loss＝Loss_WGAN+Loss_R

式中，Loss_WGAN代表对抗损失，Loss_R代表重构损失，对抗损失是WGAN的改进版本，WGAN使用EM(Earth-Mover)距离来比较原始数据与生成数据的分布，WGAN的优化公式为

式中，相似度判定网络D要符合1-Lipschitz条件，P_data表示原始数据分布，PG表示生成数据分布。相似度判定网络D为了满足1-Lipschitz条件，对参数weight进行一个weight-clipping操作，即将weight限制在某个常数范围(-c,c)内，从而间接满足了1-Lipschitz条件，为了避免weight几乎都集中在最大值和最小值上的缺陷，增加一个额外损失来限制相似度判定网络D的梯度：

式中

是对P_data、P_G之间的空间采样，

是相似度判定网络的梯度。在相似度判定网络充分训练之后，其梯度会稳定在1附近，通过加梯度惩罚可以稳定住梯度。重构损失采用均方误差l₂ loss，均方误差通过计算处理后的图像与原图像的像素之间的平方差距，均方误差越小，说明去噪后的图像与原图像越接近，去噪的效果也就越好。

S30、AR眼镜模块接收并显示该处理后的图像。

AR眼镜模块会将处理后的图像显示给航天员观察。

S40、生物电信号采集模块采集航天员的生物电信号；该生物电信号是该航天员响应于该处理后的图像所产生的。

航天员观察处理后的图像之后，产生相应的生物电信号，例如肌电信号和/或脑电信号。

S50、监控主机处理该生物电信号，并根据处理后的生物电信号发送相应的控制指令。

监控主机处理航天员的生物电信号之后，根据处理后的生物电信号将相应的控制指令发送给机械臂以控制机械臂运动。控制指令可以包括机械臂末端所承载的航天员所要到达的位置以及航天员所要达到的身体姿态。

S60、机械臂接收该控制指令并根据该控制指令运动，使自身的末端所承载的该航天员到达相应位置并使该航天员达到相应身体姿态。

机械臂为六自由度机械臂或七自由度机械臂，机械臂根据控制指令对自身各部分进行运动调整，使末端承载的航天员到达相应位置并使航天员达到相应身体姿态。

如图6所示是本申请的空间机械臂系统的控制方法的一种实施方式的流程图。本实施方式的流程具体包括：当航天员到达作业点发现不能完成操作时，开始进行位置和身体姿态调整，航天员首先通过AR眼镜接收图像，根据自己需要调整的方向已经调整方向是否有碰撞风险，从而确定需要进行位置调整还是身体姿态调整，一般先通过AR眼镜调整位置后通过腕带调整身体姿态，并分别通过头盔中的脑电信号采集模块和腕带中的肌电信号采集模块，采集相应的生理信号并传输给船载计算机，经过计算机中的信号处理模块，计算得到特征值，判断特征值是否超过事先设置好的阈值，若未超过则返回至重新调整位置或者身体姿态，若超过则给机械臂发送指令，机械臂带着航天员开始运动，航天员若发现指令错误或者有碰撞风险，可以随时通过牙齿咬合来停止运动。任务如果没有完成，则返回至接收图像，若完成结束任务。

本申请实施例提供的空间机械臂系统的控制方法，机械臂末端的航天员能够通过AR眼睛模块观察图像采集模块所采集的图像，图像信息呈现效果好，提高了航天员对图像信息的接收效率和接收效果，生物电信号采集模块能够有效采集航天员的生物电信号，监控主机通过处理生物电信号能够分析出航天员控制意图，从而能够发送相应的控制指令以控制机械臂使航天员达到准确的位置以及达到准确的身体姿态，使航天员能够高效率地作业，不需要其他额外的人工操作，从而节约了人力成本，自动化程度高、工作效率高，能够很好地满足实际应用需要。

本申请的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一实施方式的空间机械臂系统的控制方法。如图7所示，其示出的计算机可读存储介质为光盘60，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示例一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种空间机械臂系统，其特征在于，包括监控主机以及分别与所述监控主机相连接的图像采集模块、生物电信号采集模块、AR眼镜模块和机械臂；

所述图像采集模块用于采集图像；

所述监控主机用于处理所述图像，并发送处理后的图像；

所述AR眼镜模块用于接收并显示所述处理后的图像；

所述生物电信号采集模块用于采集航天员的生物电信号；所述生物电信号是所述航天员响应于所述处理后的图像所产生的；

所述监控主机还用于处理所述生物电信号，并根据处理后的生物电信号发送相应的控制指令；

所述机械臂用于接收所述控制指令并根据所述控制指令运动，以使自身的末端所承载的所述航天员到达相应位置并使所述航天员达到相应身体姿态；

所述监控主机处理所述图像，包括：

利用预先构建并训练好的图像处理模型对所述图像采集模块所采集的图像进行去噪处理，得到去噪后的图像；

利用预先构建并训练好的相似度判定网络计算所述去噪后的图像与去噪前的图像之间的相似度；

判断所述相似度是否达到预设阈值；

若达到，则将所述去噪后的图像作为处理后的图像；

否则，转向所述利用预先构建并训练好的图像处理模型对所述图像采集模块所采集的图像进行去噪处理，直至相似度达到预设阈值为止；

其中，所述预先构建并训练好的图像处理模型包括上下两层结构相同的卷积神经网络结构、全局残差模块、连接层和卷积层；两个所述卷积神经网络结构的输入分别用于接收所述图像采集模块所采集的图像，两个所述卷积神经网络结构的输出均连接到所述连接层，所述连接层的输出连接到所述卷积层的输入，所述全局残差模块的输入用于接收所述图像采集模块所采集的图像，所述全局残差模块的输出连接到所述卷积层的输入。

2.根据权利要求1所述的空间机械臂系统，其特征在于，所述生物电信号采集模块包括肌电信号采集模块和/或脑电信号采集模块；

所述肌电信号采集模块用于采集所述航天员的肌电信号；

所述脑电信号采集模块用于采集所述航天员的脑电信号。

3.根据权利要求2所述的空间机械臂系统，其特征在于，所述脑电信号采集模块包括多个分别与所述监控主机相连接的电极；所述电极设置于所述航天员的头部且与头皮相接触，用于采集脑电信号。

4.根据权利要求2所述的空间机械臂系统，其特征在于，所述肌电信号采集模块包括多个分别与所述监控主机相连接的肌电传感器；所述肌电传感器设置于所述航天员的皮肤的预设位置上，用于采集所述预设位置的肌电信号。

5.根据权利要求1所述的空间机械臂系统，其特征在于，所述AR眼镜模块包括SSVEP诱发单元，所述SSVEP诱发单元用于响应于所述航天员的眼睛的注视动作产生相应的电信号，并将所述相应的电信号发送给所述监控主机。

6.根据权利要求5所述的空间机械臂系统，其特征在于，所述监控主机还用于对所述相应的电信号进行处理以获得所述航天员的控制指令，并发送所述航天员的控制指令。

7.根据权利要求1所述的空间机械臂系统，其特征在于，所述图像采集模块包括多个摄像头，每个所述摄像头分别与所述监控主机相连接，所述多个摄像头用于采集不同视野的图像。

8.根据权利要求1所述的空间机械臂系统，其特征在于，所述机械臂为六自由度机械臂或七自由度机械臂。

9.一种如权利要求1-8中任一项所述的空间机械臂系统的控制方法，其特征在于，包括：

所述图像采集模块采集图像；

所述监控主机处理所述图像，并发送处理后的图像；

所述AR眼镜模块接收并显示所述处理后的图像；

所述生物电信号采集模块采集航天员的生物电信号；所述生物电信号是所述航天员响应于所述处理后的图像所产生的；

所述监控主机处理所述生物电信号，并根据处理后的生物电信号发送相应的控制指令；

所述机械臂接收所述控制指令并根据所述控制指令运动，使自身的末端所承载的所述航天员到达相应位置并使所述航天员达到相应身体姿态。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求9所述的方法。

Images