CN109062398A - 一种基于虚拟现实与多模态人机接口的航天器交会对接方法 - Google Patents

Abstract

一种基于虚拟现实与多模态人机接口的航天器交会对接方法。本发明公开了一种基于虚拟现实技术与多模态人机接口的飞行器交会对接方法及系统，其特征在于：将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；采集脑电信号、肌电信号以及人手位置参数信息；对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；对脑电信号、肌电信号以及人手位置参数信息进行特征提取；基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。通过将大脑与肢体运动意图信息直接转化为飞行器控制信息，更好地辅助航天员完成手控RVD任务。

Description

一种基于虚拟现实与多模态人机接口的航天器交会对接方法

技术领域

本发明涉及载人航天领域，更具体地，涉及一种基于虚拟现实技术与多模态人机接口的飞行器交会对接方法。

背景技术

空间交会对接(Rendezvous and Docking，RVD)是指两个或两个以上飞行器在轨道上按预定时间和位置相会，并在相会后在结构上连成一个整体。RVD的结果往往决定了空间装配和维修、在轨组装、回收产品及废弃物品、加注燃料和补给供给、星际间的救生渡船、以及航天员轮换、营救等高级空间操作的成败。因此，随着航天技术的发展，RVD已经成为一种重要空间技术。从本质上说，RVD可以分为自主RVD和人工手控RVD两种途径，其中美国主要采取的是手控RVD策略，而俄罗斯虽然主要采用的是自主RVD，但是为了保证突发意外情况后，RVD仍能顺利的完成，手控RVD是其长期备份的方案。2012年航天员刘旺首次完成了我国手控RVD任务，成功地将神舟九号(由航天员驾驶的飞船，被称为对接飞行器)与天宫一号(无人飞船，被称为目标飞行器)对接形成组合体。展望我国未来交会对接技术的发展，手动与自动都将会是RVD的必须手段，互为备份，缺一不可，无论哪种方式都不可能偏废。

在手控RVD的模式下，航天员要完成飞行器相对惯性空间中12个自由度的制导、导航、姿态等控制，因此需具备极好的手-眼-脑协调性、操作精细性和心理稳定性。以往的手控RVD主要是依靠交会雷达和舱外电视摄像头的辅助，由人在对接飞行器内控制操作手柄完成的。但是，航天员在失重状态下，会遇到以下几个方面的问题：一是航天员在地面形成的天地本体感觉、空间知觉、空间定向、方向辨认能力会明显下降；二是航天员获取与判断电视摄像头图像信息、追踪屏幕数据、手眼脑协调性等多方面能力也有下降，心理压力变大；三是在现有的手控RVD策略中，需要航天员监测与控制综合电子屏上的2D平面靶标图像来完成真实的3D靶标对接和飞行器调姿调位，人-机交互界面具有非直观性的、缺少视觉立体感等缺点。可以说现有手控RVD的人-机交互技术会使航天员承受较大的工作负荷和心理负荷。那么如何确保手控RVD的效率、提高安全性和可靠性、减轻航天员的操作复杂性是手控RVD技术中的一项关键内容。

本发明针对此问题提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法。为航天员提供立体视觉信息，并将大脑与肢体运动意图信息直接转化为飞行器控制信息，更好地辅助航天员完成手控RVD任务。本发明提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法，其具有使手控RVD的控制模式、控制机构、控制界面更加符合人的感知、认知、理解、决策的特点，实现了全新的手控RVD方式，拓展了手控RVD的人机交互模式。还提出了一种基于虚拟现实与多模态人机接口的飞行器交会对接系统。

发明内容

本发明的目的是提供一种基于虚拟现实与多模态人机接口的飞行器交会对接方法及系统，包括虚拟现实技术，并在虚拟现实系统中实现脑电交互、肌电交互、力反馈、航天员主控手位置交互，从而克服现有技术的缺点。

为实现上述目的，本发明提供了一种基于虚拟现实与多模态人机接口的飞行器交会对接方法，其包括如下步骤：

步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；

步骤二、采集脑电信号、肌电信号以及人手位置参数信息；

步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；

步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取；

步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；

步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。

进一步地，步骤四中对脑电信号的特征提取基于下述方程式(1)实现：

假设有两个多维变量U,V以及他们的线性组合u＝U^Tw_u和v＝V^Tw_v，

其中函数E()表示期望，求得的解ρ就是典型相关系数，对应的w_u和w_v表示典型向量，将上式中的U换成X，将V换成Y_n，就可以得到典型相关系数ρ_n，并作为脑电信号识别的特征值。

进一步地，步骤四中对肌电信号的特征提取基于下述过程实现：

设可分数据集D＝{(x_i,y_i)|i＝1,2,...,n}，其中输入向量xi∈Rd，Rd为d维实数平面，目标数据为y_i∈{-1,+1}，如果xi∈Rd属于第1类，则标记为正，即yi＝1，如果属于第2类，则标记为负，即yi＝-1，

内积函数通过下述三种算法(2)、(3)、(4)进行求解：

多项式函数K(x_i,x)＝[1+(x_i·x)]^d (2)

多层神经网络函数K(x_i,x)＝tanh(v(x_i·x)+c) (3)

径向基函数

求解后得到最优决策函数为：

(5)，其中sgn为符号函数，

偏置b在求解中直接作为副产品被轻松求解：

其中N_NSV为标准支持向量数，JN为标准支持向量的合集，J为支持向量的合集。

进一步地，采用异步控制的策略来输出控制指令，首先预设好步长和阈值，系统根据步长来截取数据并用于特征提取和分类，当得到的预测结果相关系数值达到阈值时将此数据片段记为一次有效数据，当累计有3次相同的脑电信号、肌电信号、人手位置参数信息，且有效的预测结果时，输出控制指令。

进一步地，脑电信号采集和肌电信号采集通过蓝牙连接，同步进行。

本发明还提供了一种基于虚拟现实与多模态人机接口的飞行器交会对接系统，包括：船载计算机系统、头盔、数据手套与腕带；所述船载计算机系统包括飞行器虚拟模型模块、飞行器位置与姿态解算模块、人体生理信号处理模块和飞船控制模块；头盔包括VR显示模块、脑电信号采集模块和虚拟现实设备主机电路；所述数据手套与腕带由力反馈模块、人手位置参数模块和肌电信号采集模块组成。

进一步地，所述人体生理信号处理模块包括数字信号预处理模块、特征信号提取模块和特征信号处理模块。

进一步地，肌电信号采集模块包括肌电信号采集电极、采集电路、放大电路、滤波电路、A/D转换电路。

与现有技术相比，本发明的优点在于：

(1)通过VR技术突破了手控RVD过程中可视化的平面模式，打破基于平面十字靶标进行手控交会的传统模式。对于位于对接飞行器内部的航天员来说，VR能够帮助其以自我为中心的坐标系构建地图，理解和判断自身的位置和被操作物体的空间关系，提高其对飞行器当前相对运动状态的判断能力，对复杂场景空间结构快速学习和掌握能力，辅助其更快地实现目标的定位，从而减少手控过程中的燃料消耗。

(2)虚拟现实结合单一生理信号控制交会对接的过程，存在单纯控制方式分类风险高、可分类模式受限、环境适应性差、操作复杂的问题。因此该方法融合了脑电信号、肌电信号和力反馈信号，增加了VR环境下实现RVD的人机交互方式，实现了手控RVD过程人机交互方式的多元化。不但可以提高航天员感知和认知RVD任务的效率，能更直接、客观地反应出人体本身的控制意图，省却了很多通过语言转述或操作手柄所消耗的时间，使得航天员在手控交互对接的过程中脑-眼-手能够更加自然的协调配合，充分实现系统全面、动态的优势组合。

附图说明

图1是本发明系统的示意图。

图2是本发明的基本结构图。

图3是本发明实施例中完整的脑电、肌电、手部位置信号控制真实飞行器运动的流程图。

图4是本发明的脑电采集位置示意图。

图5是本发明脑电、肌电信号同步采集流程图。

图6是本发明手部动作与对接飞行器位置、姿态示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

图1是本发明系统的示意图。该系统主要包括：船载计算机系统、头盔、数据手套与腕带、蓝牙模块。

所述船载计算机系统由飞行器虚拟模型模块、飞行器位置与姿态解算模块、人体生理信号处理模块和飞船控制模块(图中未示出)组成。其主要功能是，通过对飞行任务前两个飞行器(对接飞行器和目标飞行器)的三维数据收集和分析预先建立两个飞行器的虚拟模型，并存储于船载计算机上；基于舱外摄像头采集的图像、交会雷达、光学瞄准仪、接近敏感器等传感器获取两个飞行器的相对运动参数，并驱动两个虚拟飞行器模型实时运动。其中的人体生理信号处理模块用于响应航天员在手控RVD中的位置信息，对其脑电信号和肌电信号进行特征提取和动作分类，并将人体的脑电信号、肌电信号、人手位置参数转化为飞行器控制指令，控制对接飞船的调姿调位。

优选地，所述人体生理信号处理模块，包括数字信号预处理模块、特征信号提取模块和特征信号处理模块。如附图2所示，脑电信号采集、肌电信号采集、手部位置采集所采集到的信号均由人体生理信号预处理模块进行处理，其功能为基于数字信号预处理模块对数字化的生理电信号去基线漂移、工频陷波等处理，得到更干净的数字信号，之后，通过人体生理信号特征提取模块对经过预处理的数字信号进行特征信号提取和特征处理，实现虚拟现实系统和真实飞船手控系统之间的交互，具体的交互过程在后面会有详细描述。

所述头盔由VR显示模块、脑电信号采集模块、虚拟现实设备主机电路组成。如附图1中所示，遮住手控操作航天员眼睛部位的眼镜为VR显示模块，头盔覆盖头部的结构为脑电信号采集模块。头盔的主要功能是显示手控RVD立体场。所述脑电信号采集模块包括脑电信号采集电极、采集电路、放大电路、滤波电路、A/D转换电路组成。其功能为对采集到的信号进行差分放大、滤波等处理，去除噪声、去基线漂移等干扰，得到较干净的模拟量脑电生理信号。所述脑电信号采集电极由探测电极、参考电极和地电极组成。虚拟现实设备的主机电路接收所述人体生理信号处理模块处理后的脑电信号、肌电信号、人手位置参数，并向人手提供力反馈数据、用于虚拟现实设备的人机交互控制中。

所述数据手套与腕带由力反馈模块、人手位置参数模块(数据手套)与肌电信号采集模块(数据腕带)组成。人体手部穿戴的数据手套为力反馈数据手套，人体前臂穿戴的数据腕带为肌电信号采集模块。力反馈数据手套由3D运动传感器、加速度传感器、肌肉传感器陈列、多通道电子肌肉刺激器和振动电机组成。人手位置参数由数据手套上的光电码盘、惯性测量单元(Inertial measurement unit，IMU)提供，人手在操纵飞行器调姿调位时，在一定操作空间内产生空间运动，通过蓝牙模块将数据手套上人手的轨迹运动传输到船载计算机系统中飞船控制模块，使对接飞行器依照人手的轨迹运动进行调姿调位，并对虚拟飞行器位置进行相应的调整。还可通过数据手套感受手控RVD过程中的飞行器姿态位置变换时的反作用力和惯性，以及两个飞行器对接时的冲击力。肌电信号采集模块包括肌电信号采集电极、采集电路、放大电路、滤波电路、A/D转换电路组成。其功能为对采集到的进行差分放大、滤波等处理，去除噪声、去基线漂移等干扰，得到较干净的模拟量肌电生理信号。

附图3是本发明的在虚拟现实环境下以多模态人机接口完成航天器手控交会对接的主要流程图，下面结合附图3对各步骤详细说明。

步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模。

所述对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，通过飞行器虚拟模型模块对两个飞行器三维建模。所述飞行器虚拟模型模块与飞行器位置与姿态解算模块连接。通过舱外摄像头采集的图像、交会雷达、光学瞄准仪、接近敏感器等传感器获取两个飞行器的相对运动参数，驱动两个虚拟飞行器模型实时运动。

其中，所述飞行器位置与姿态解算模块与飞行器虚拟模型模块通过蓝牙模块与头盔连接。在头盔上的VR显示界面上以上帝视角呈现两个飞行器交会对接的过程、两个飞行器十字靶标对接的图像、以及两个飞行器运动参数、相对位置参数，航天员通过佩戴头盔，获取视觉三维VR显示界面。

步骤二、采集脑电信号、肌电信号以及人手位置参数信息。

在本实施例中，脑电信号与肌电信号同步采集，附图4所示为脑电信号、肌电信号同步采集流程。脑电信号采集模块与肌电信号采集模块之间通过蓝牙连接，实现同步采集。

脑电信号采集通过头盔的脑电信号采集模块来完成。附图5所示为脑电信号采集的位置图，其利用32通道脑电采集电极采集C3、C4、P3、PZ、P4、O1、O2共计7处的脑电信号。采集到的稳态视觉诱发电位(steady-state visual evoked potential，SSVEP)原始信号。SSVEP脑电信号是当人眼注视大于4Hz频率调制的周期性视觉刺激时，在大脑中所诱发的一种周期性响应，它具有与视觉刺激频率相同的基频及其谐波频率，且与刺激信号保持良好的锁时、锁相特性，由于具有高信噪比、信号集中、频谱稳定等优点，诱发SSVEP的视觉刺激以沉浸式的交互界面显示在VR眼镜上。VR屏幕中间区域为视觉三维显示界面，以下6个命令：上下平移、左右平移、前后平移，以及滚转、俯仰、偏航以6种不同频率和相位闪烁的方块刺激分布在视觉三维显示界面周围。不同的频率分别为8.25、8.75、9.25、9.75、10.25和10.75，相位分别为0.00、0.50、1.00、1.50、0.00和0.50。

肌电信号采集模块采集尺侧腕伸肌、尺侧腕屈肌、腕背伸肌、前臂伸肌、前臂曲肌、桡侧腕屈肌、桡侧腕伸肌共计7处sEMG肌电信号。

步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理。

利用脑电信号采集模块进行SSVEP脑电信号预处理，基于自适应高通滤波器和自适应50Hz的工频陷波滤波器对脑电信号进行滤波处理，然后用切比雪夫I型无限脉冲响应(IIR)滤波器对脑电信号进行滤波处理，根据信号的有效频段特征，对于第n个频带，其截止频率分别是n×8Hz和90Hz。

采集到的肌电信号的原始信号，利用肌电采集模块进行预处理，基于自适应高通滤波器和自适应50Hz的工频陷波滤波器对肌电信号进行滤波处理，然后用FIR滤波器对肌电信号进行滤波处理，根据信号的有效频段特征，选取肌电信号的截止频率为：2Hz和200Hz。

步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取。

人体生理信号处理模块基于典型相关分析(Canonical Correlation Analysis，CCA)对SSVEP脑电信号特征提取。该方法通过利用多变量的统计方法CCA来计算EEG信号与各参考信号之间的相关关系，并找到相关系数最大的参考信号，将该信号的频率作为算法输出。利用该CCA方法提取出SSVEP脑电图中的特征，结合异步控制的方法，就可实现对脑电对对接飞船的操控。

具体的，基于CCA的SSVEP脑电信号特征提取通过如下方式实现：

假设X和表示单个测试试次和训练出的模板信号，它们都是N_c×N_S的二维矩阵，其中N_c表示所用的电极通道的数目，N_S表示采样点的数目，并且是通过多轮训练试次平均得到的。特征提取的过程为在给定一个输入X的条件下，输出特征值及预测的靶刺激，其中X是总共N_f种刺激中的一种。靶刺激所对应的特征值可以通过监督学习或者非监督学习ρ_n＝g(X,Y_n)的方法获得，其中函数g表示不同的特征提取算法，Y_n表示人工产生的参考信号，它模拟的是被试注视第n个刺激所诱发出的SSVEP信号。那么靶刺激τ可以通过下面的公式来得到：

在基于SSVEP的BCI中，特征提取的目标是找到更好地特征值ρ_n以优化目标识别的正确率。

本发明采用CCA作为特征提取的算法，其为统计学上的方法，可以度量两组多维变量之间的内在相关性，并且已经被广泛的用于SSVEP的检测和特征提取。

假设有两个多维变量U,V以及他们的线性组合u＝U^Tw_u和v＝V^Tw_v，CCA的目标是找到权重向量w_u和w_v，使得u和v之间的相关系数最大：

其中函数E()表示期望。求得的解ρ就是典型相关系数，对应的w_u和w_v表示典型向量。将这里的U换成X，将V换成Y_n，就可以得到典型相关系数ρ_n，并作为SSVEP识别的特征值，那么最大特征值所对应的参考信号的频率被认为是SSVEP的频率(如公式(1))。这里参考信号Y_n被定义为：

其中f_n表示刺激的频率，f_s表示采样频率，N_h表示谐波的数目。

为了更好地利用SSVEP谐波成分中的信息，Chen等人提出了滤波器组分析的方法。原始的SSVEP信号X会首先被分解为不同的子频带成分(X^(k),k＝1,2,...,K)。然后按下面的公式，对所有子带成分的特征值(比如)的平方进行加权求和：

其中，k表示子带的索引，K表示子带的总数，_n表示刺激的索引，N_f表示刺激的总数，w(k)被定义为w(k)＝k^-1.25+0.25。在所有的刺激中，加权特征值最大的那一个被预测为靶刺激。

在根据人体前臂按顺序依次上下平移、左右平移、前后平移，以及手掌旋内旋外、前屈后伸、外展内收所产生的标记的肌电信号经过A/D转换电路后，进行训练，并将训练后的初始化参数输入给支持量机分类器分类(Support Vector Machines，SVM)。SVM是基于统计学习理论和结构风险最小化原则，其基本思想是把输入空间的样本通过非线性变换映射到高维特征空间，然后在特征空间中求取把样本线性分开的最优分类面。利用支持向量机算法将肌电分类用于分别对应控制飞行器的上下平移、左右平移、前后平移位置调整，以及滚转、俯仰、偏航姿态调整。附图6所示为手部动作与对接飞行器位置、姿态示意图。

具体地，基于SVM的肌电信号sEMG特征提取通过如下方式实现：

通过某非线性映射，SVM使得输入向量x映射到一个高维的特征空间，通过定义适当的内积函数实现非线性变换，最终在这个高维空间Z中构造最优分类超平面。

设可分数据集D＝{(x_i,y_i)|i＝1,2,...,n}，其中输入向量xi∈Rd，Rd为d维实数平面。目标数据为y_i∈{-1,+1}，如果xi∈Rd属于第1类，则标记为正(yi＝1)，如果属于第2类，则标记为负(yi＝-1)。SVM通过映射这些输入向量到一个高维的再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)，其中线性机是由最小化一个正则化泛函所构造的。针对训练样本集为非线性的情况，分类超平面方程为：

其中w∈Rd进行了规范化处理；为非线性函数，它就是将训练集数据x映射到一个高维线性特征空间的函数。

通过该函数在可能为无限大维数的线性空间中构造最优分类超平面，并求解分类器的决策函数；b∈R⁽¹⁾为偏置参数。

支持向量(Support Vector，SV)就是那些在H₁与H₂上距离最优超平面最近的点。

决策函数为：

其中sgn为符号函数。

SVM需要通过以下的二次规划问题进行求解[140]：

如果在一个高维空间中，数据仍然不是可分离的，Cortes和Vapnik提出增加惩罚系数得到目标函数[144]：

其中C为惩罚参数，C越大表示对错误分类的惩罚越大，C>0。直接求解原始问题公式(6)比较困难，因而采取先求其对偶问题的解，然后再快速得到原始问题的解。C—支持向量分类机的对偶最优问题如下：

其中标量积<φ(x_i)·φ(x_j)>也是RKHS中的再核函数K(x_i,x_j)。采用不同的内积函数，支持向量机的算法也不同，内积函数形式主要有三种：

多项式函数：

K(x_i,x)＝[1+(x_i·x)]^d (10)

多层神经网络函数：

K(x_i,x)＝tanh(v(x_i·x)+c) (11)

径向基函数

求解后得到最优决策函数为：

偏置b可以在求解中作为副产品被轻松求解：

其中N_NSV为标准支持向量数；JN为标准支持向量的合集，J为支持向量的合集。

在大多数情况下，仅有一些拉尔朗日乘子a_i与在最优问题求解过程中不同于0。通过这些情况可以定义问题的支持向量。更准确的说样本(x_i,y_i)相关参数a_i满足0<a_i<C被称为界内支持向量，样本参数a_i＝C被称为界外支持向量，当样本参数a_i＝0被称为非支持向量。

人体生理信号处理模块通过光电码盘和IMU获取的人手位置参数，解算人手的运动轨迹。与肌电信号表征人类肢体运动的内在神经机理不同，人手位置参数则直观地反映了关节的旋转方向和角度，二者之间可称为互补关系，以进一步增加手控RVD的准确率和可信度。

步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态。

所述人体生理信号处理模块与船载计算机系统的飞船控制模块连接，根据SSVEP脑电信号的CCA特征电位、sEMG肌电信号的SVM特征提取、人手位置参数生成相应的控制指令，传输给飞船控制模块，调整对接飞行器的位置与姿态。

为了提高RVD的操控性能，本方法采用异步控制的策略来输出控制指令。预设好步长和阈值，系统根据步长来截取数据并用于特征提取和分类，当得到的预测结果相关系数值P达到阈值P_Trd时才将此数据片段记为一次有效数据；当得到的预测结果相关系数值P达不到阈值P_Trd时，返回重新进行信号采集。当累计有3次相同脑电、肌电、手部位置参数，且有效的预测结果，即NTrd＞3时，输出控制命令。

其中，所述飞船控制模块与飞行器位置与姿态解算模块、飞行器虚拟模型模块连接。所述飞行器位置与姿态解算模块与数据手套力反馈连接。

飞行器控制模块驱动重新解算飞行器位置与姿态解算模块，飞行器位置与姿态解算模块驱动飞行器虚拟模型模块连上的对接飞行器实时发生姿态和位置变化，使航天员能够及时从VR眼镜中视觉观察到飞行器变化的状态。

步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。

所述人体生理信号处理模块与所述虚拟现实设备的主机电路连接。根据SSVEP脑电信号的CCA特征电位、sEMG肌电信号的SVM特征提取、人手位置参数生成相应的控制指令，转换为电压信号，传输给虚拟现实设备的主机电路用于航天员和虚拟现实设备之间的人机交互。

飞行器位置与姿态解算模块还要将解算出来对接飞行器实时姿态和位置变化反馈给力反馈数据手套，通过力反馈数据手套上的3D运动传感器、加速度传感器、肌肉传感器陈列、多通道电子肌肉刺激器和振动电机，使航天员能够感受到飞船位置和姿态调整的距离、角度、反作用力、反作用力矩、惯性和两个飞行器对接成功后的冲击力。

本发明采用VR技术，为航天员呈现一个场景更加立体的、信息更加丰富的、环境更加自然亲切的RVD界面。让航天员能够在虚拟手控RVD场景内以俯瞰和游历方式完成对两个飞行器交会对接场景结构的学习。同时将交会对接视景系统和动力学模型存入计算机系统，通过计算机仿真，实时解算出两个飞行器间的相对距离和姿态参量。通过VR头盔显示器将上述距离和姿态参数、两个飞行器十字靶标对接的图像、上帝视角观察两个飞行器的对接程度图像显示给航天员。

另外，为了在VR环境中进行更加自然、逼真的交互和反馈，本发明提出了将虚拟现实与脑电(EEG)、肌电(surface Electromyography,sEMG)、力反馈、人手位置交互相结合的方法。即，将人体前臂的sEMG信号作为信息源，通过一定的信息解码策略，把人的控制意图转化为运动控制信息，实时感知手部信息并相应地调整飞行器，使对接飞行器位置和姿态与手部控制保持一致。同时，引入EEG信号，利用脑-机接口提取和分析人的脑电波特征，经算法处理，直接、客观地将大脑本身的活动转化为平移、旋转等命令控制飞行器姿态。EEG融合sEMG能够进一步反映人的控制意图，提取EEG与sEMG中控制信号的特征量，形成控制命令，实现对飞行器位置和姿态的调整。

此外，为了映射航天员眼睛所见的飞行器调姿调位时的距离和惯性变化，并让航天员能身临其境感受到飞行器控制过程中的反作用力，以及两个飞行器成功对接后的冲击力量，又融合了力反馈、人手位置交互技术，基于非线性的力反馈、人手位置反馈能够辅助航天员感知到飞行器的运动不足或过度，以及飞行器加速和减速运动的效果。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种基于虚拟现实与多模态人机接口的航天器交会对接方法，其包括如下步骤：

步骤一、将对接飞行器和目标飞行器的整舱三维数据输入到船载计算机，对两个飞行器三维建模；

步骤二、采集脑电信号、肌电信号以及人手位置参数信息；

步骤三、对采集到的脑电信号、肌电信号以及人手位置参数信息预处理；

步骤四、对脑电信号、肌电信号以及人手位置参数信息进行特征提取；

步骤五、基于特征提取的参数生成相应的控制指令，调整对接飞行器的位置与姿态；

步骤六、实时解算出对接飞行器的实时姿态和位置变化并反馈给航天员，使航天员感受到飞船位置和姿态的变化。

2.如权利要求1所述的航天器交会对接方法，其特征在于：

步骤四中对脑电信号的特征提取基于下述方程式(1)实现：

假设有两个多维变量U,V以及他们的线性组合u＝U^Tw_u和v＝V^Tw_v，

其中函数E()表示期望，求得的解ρ就是典型相关系数，对应的w_u和w_v表示典型向量，将上式中的U换成X，将V换成Y_n，就可以得到典型相关系数ρ_n，并作为脑电信号识别的特征值。

3.如权利要求1所述的航天器交会对接方法，其特征在于：

步骤四中对肌电信号的特征提取基于下述过程实现：

设可分数据集D＝{(x_i,y_i)|i＝1,2,...,n}，其中输入向量xi∈Rd，Rd为d维实数平面。目标数据为y_i∈{-1,+1}，如果xi∈Rd属于第1类，则标记为正，即yi＝1，如果属于第2类，则标记为负，即yi＝-1，

内积函数通过下述三种算法(2)、(3)、(4)进行求解：

多项式函数K(x_i,x)＝[1+(x_i·x)]^d (2)

多层神经网络函数K(x_i,x)＝tanh(v(x_i·x)+c) (3)

径向基函数

求解后得到最优决策函数为：

其中sgn为符号函数，

偏置b在求解中直接作为副产品被轻松求解：

其中N_NSV为标准支持向量数，JN为标准支持向量的合集，J为支持向量的合集。

4.如权利要求1所述的航天器交会对接方法，其特征在于：在上述步骤五中，采用异步控制的策略来输出控制指令，首先预设好步长和阈值，系统根据步长来截取数据并用于特征提取和分类，当得到的预测结果相关系数值达到阈值时将此数据片段记为一次有效数据，当累计有3次相同的脑电信号、肌电信号、人手位置参数信息，且有效的预测结果时，输出控制指令。

5.如权利要求1所述的航天器交会对接方法，其特征在于：上述步骤二中的脑电信号采集和肌电信号采集通过蓝牙连接，同步进行。

6.一种实现权利要求1所述的基于虚拟现实与多模态人机接口的航天器交会对接方法的对接系统，包括：船载计算机系统、头盔、数据手套与腕带；所述船载计算机系统包括飞行器虚拟模型模块、飞行器位置与姿态解算模块、人体生理信号处理模块和飞船控制模块；所述头盔包括VR显示模块、脑电信号采集模块和虚拟现实设备主机电路；所述数据手套与腕带由力反馈模块、人手位置参数模块和肌电信号采集模块组成。

7.如权利要求6所述的对接系统，其特征在于：所述人体生理信号处理模块包括数字信号预处理模块、特征信号提取模块和特征信号处理模块。

8.如权利要求6所述的对接系统，其特征在于：所述肌电信号采集模块包括肌电信号采集电极、采集电路、放大电路、滤波电路、A/D转换电路。