CN112722331A - 一种月面载人移动车系统的交互装置及交互控制方法 - Google Patents

一种月面载人移动车系统的交互装置及交互控制方法 Download PDF

Info

Publication number
CN112722331A
CN112722331A CN202110113615.5A CN202110113615A CN112722331A CN 112722331 A CN112722331 A CN 112722331A CN 202110113615 A CN202110113615 A CN 202110113615A CN 112722331 A CN112722331 A CN 112722331A
Authority
CN
China
Prior art keywords
vehicle
lunar
information
manned
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110113615.5A
Other languages
English (en)
Other versions
CN112722331B (zh
Inventor
宋爱国
缪天缘
周永辉
邵斌澄
李会军
谭启蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110113615.5A priority Critical patent/CN112722331B/zh
Publication of CN112722331A publication Critical patent/CN112722331A/zh
Application granted granted Critical
Publication of CN112722331B publication Critical patent/CN112722331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/24Guiding or controlling apparatus, e.g. for attitude control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64GCOSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00Cosmonautic vehicles
    • B64G1/22Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66Arrangements or adaptations of apparatus or instruments, not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种月面载人移动车系统的交互装置及交互控制方法,该交互装置安装于载人月球车内部的近端车载控制台、安装于月球基地或地面总控室的带振动反馈座椅的远端远程控制器以及载人月球车搭载的多传感器融合感知系统;本发明可满足载人月球车驾驶员通过近端和远端的两种交互控制方式实现对月面移动车的控制。本发明通过多通道信息融合装置完成对各通道信号的采集、识别与融合,可实现自定义式的多通道输入的月面移动车交互控制;同时通过多传感器融合感知系统为驾驶员提供丰富的环境感知信息与车体状态信息,并通过视觉反馈、语音提示、阻尼力反馈与振动反馈方式,增强驾驶过程的交互性,提高月面月球车驾驶任务的工作效率与安全性。

Description

一种月面载人移动车系统的交互装置及交互控制方法
技术领域
本发明涉及一种月面载人移动车系统的交互装置及交互控制方法,属于人机交互技术领域。
背景技术
随着计算机技术的快速发展,人机交互的方式也更加多元化,从键鼠控制到语音交互控制、手势控制以及脑电控制,人机交互手段不断创新,也愈加具有自然性和智能性。同时,21世纪中国探月工程已完成“绕、落、回”三步走战略,下阶段将着眼载人登月和建立月球基地计划,其中载人月球车是我国深空探测的一个重要研究媒介和探测工具,载人月球车的交互控制是不可忽视的一环。
目前,关于载人月球车系统的研究大多是从机械结构、运动控制算法、月球车定位与建图这些方面着手,很少有涉及载人月球车的交互控制。地面汽车的交互控制研究开始集成了一些新型的交互设备,但大多只是使用了语音交互的方式,交互方式单一,交互装置简单且只局限于驾驶员在车内的交互方式,并不适用于载人月球车的月面探测需求和远程控制需求。
发明内容
本发明的目的是针对上述现有技术的不足,提供一种月面载人移动车系统的交互装置及交互控制方法,通过多通道信息融合的控制、多传感器融合的感知以及近端远端两种交互装置,增强驾驶过程的交互性,提高月面月球车驾驶任务的工作效率与安全性。
为解决上述技术问题,本发明采用的技术方案是:
一种月面载人移动车系统的交互装置,包括安装于载人月球车内部的近端车载控制台、安装于月球基地或地面总控室的带振动反馈座椅的远端远程控制器以及载人月球车搭载的多传感器融合感知系统;
所述近端车载控制台通过载人月球车内部搭载的近端多通道控制接口接收近端驾驶员的多通道控制信息,经近端多通道信息融合装置将接收到的近端驾驶员的多通道控制信息融合成运动控制信号,并发送至车载运动控制模块,从而实现载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务;
所述远端远程控制器通过安装于月球基地或地面总控室的远端多通道控制接口接收远端驾驶员的多通道控制信息,经远端多通道信息融合装置将接收到的远端驾驶员的多通道控制信息融合成运动控制信号,并通过网桥点对点透传装置发送至车载运动控制模块,用于实现远程控制模式下的载人月球车移动巡视勘察任务;
多传感器融合感知系统,用于获取载人月球车的周围环境信息与自身状态信息,经感知信息再处理模块发送至近端车载控制台或远端远程控制器,通过视觉反馈、语音提示、阻尼力反馈与振动反馈方式呈现给载人月球车驾驶员。
进一步的,所述近端车载控制台具体包括:
操作面板模块,用于驾驶员通过按键的方式控制车体供电以及自定义选择多通道控制接口种类;
带转向力反馈的方向盘,用于根据电机电流模拟出车体行进中转向力;
置于驾驶员左方位的触摸屏,用于显示月面栅格地图和图形化的障碍物信息和斜坡信息;
置于驾驶员右方位的触摸屏,用于显示车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;
置于驾驶员上方的顶层显示屏,用于显示上述置于左右方位的触摸屏的全部信息;
可调节座椅,用于驾驶员在车内以坐姿驾驶月球车或以躺姿休息;
PC处理器模块,用于运行必要的显示软件和车体底层运动控制软件;
近端多通道控制接口,用于对接近端的外部输入控制接口,具体包括:方向盘接口、触摸控制接口、语音控制接口、手势控制接口与脑机控制接口;
近端多通道信息融合装置,用于同时采集近端多通道控制接口的交互信号,建有语料库、手势库和交互识别引擎,根据通道优先级与自定义主辅通道协作的工作模式完成对近端多通道信号的融合处理,形成具体运动控制信号,用于对载人月球车的运动控制。
进一步的,所述远端远程控制器具体包括:
带振动反馈的可调节座椅,用于远程控制中模拟车体实际的颠簸状态;
PC处理器用于在前置显示屏中创建带虚拟方向盘的第一视角驾驶虚拟场景,并引入所述多传感器融合感知系统获取的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息;
带转向力反馈的方向盘,用于根据电机电流模拟出车体行进中转向力;
远端多通道控制接口,用于对接远端的外部输入控制接口;
远端多通道信息融合装置,用于接收远端驾驶员的多通道控制信息,根据通道优先级与自定义主辅通道协作的工作模式完成对接收到的远端多通道信号的融合处理,形成具体运动控制信号,用于对载人月球车的运动控制。
进一步的,所述多传感器融合感知系统具体包括:安装于载人月球车外部的对角安装的前置40线激光雷达与后置16线激光雷达、四个广角摄像头、一个前置长焦摄像头、车载惯性测量单元与驱动器内置电流传感器;所述多传感器融合感知系统用于获取丰富的感知信息,包括:车体移动过程所建月面栅格地图、四路相机融合的车体全景视频流、第一视角车体运动视频流、可探测区域内的障碍物大小与距离信息、可探测区域内的斜坡坡度与坡长信息、月球车三轴姿态角与加速度以及车体各电机的实时电流。
进一步的,所述网桥点对点透传装置包括设置在远端远程控制器里面的远端网桥通信装置和设置在近端车载控制台上的近端网桥通信装置,所述远端网桥通信装置与所述近端网桥通信装置之间通过网桥点对点透传的方式通信。
用上述月面载人移动车系统的交互装置进行月面载人移动车系统交互控制的方法,该方法包括用上述的月面载人移动车系统的交互装置进行载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务以及在月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务:
当进行载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务时,驾驶员通过近端车载控制台上的操作面板模块,以按键的方式控制车体供电以及自定义选择多通道控制接口种类,具体控制接口包括方向盘接口、触摸控制接口、语音控制接口、手势控制接口与脑机控制接口,具体控制方式为:转动方向盘与按压方向盘拨片、触碰左右触摸屏上的虚拟按键、蓝牙耳机麦克风语音输入、数据手套静态与动态手势、EEG信号采集仪的运动想象。近端多通道信息融合装置搭载有信号处理引擎,根据预先写入的优先级与主辅通道协作的工作模式对选择的各接口通道完成信号的采集、识别与融合,形成近端运动控制信号,直接发送到车体的运动控制模块完成对载人移动车的运动控制。在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息发送到近端车载控制台,具体表现形式为:近端车载控制台的左触摸屏用于显示感知系统反馈信号的栅格地图和图形化的障碍物信息和斜坡信息;近端车载控制台的右触摸屏用于显示感知系统反馈信号的车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;近端车载控制台的顶层显示屏用于显示上述左右触摸屏的全部信息;近端车载控制台的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常。当月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务时,驾驶员通过远端远程控制器上的方向盘按键自定义选择多通道控制接口种类,经远端多通道信息融合装置形成远端运动控制信号,以无线网桥点对点透传方式将远端控制信号发送到近端,并转发给车体的运动控制模块完成载人月球车远程驾驶模式下的运动控制。在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息通过网桥发送到远端远程控制器,具体表现形式为:带振动反馈座椅通过四轴调节杆可根据车体的实时空间姿态模拟出实际的颠簸状态;PC处理器在前置显示屏中创建带虚拟方向盘的第一视角驾驶虚拟场景,虚拟方向盘会跟随真实方向盘而转动,显示屏中还展示出感知系统反馈信号的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息;远端远程控制器的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常。
有益效果:
1.本发明采用自定义选择的多通道控制接口作为载人月球车运动控制信号的输入,结合多通道信息融合装置完成多通道输入信号处理,丰富了月球车运动控制的交互方式,提高驾驶过程的工作效率。
2.本发明的载人月球车运动控制终端有近端车载控制台与远端远程控制器两种,适用于载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务以及在月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务。
3.本发明的多传感器融合感知系统集成多种传感器设备,用于获取载人月球车周围环境信息与车体自身状态信息,并通过感知信息再处理模块将数据处理后压缩打包成感知系统反馈信号,发送至车载控制台或远程控制器,通过显示屏(触摸屏)的视觉反馈、语音提示、方向盘的阻尼力反馈与座椅的振动反馈方式呈现给载人月球车驾驶员,增强交互性。
4.本发明的远端远程控制器创建了带虚拟方向盘的第一视角驾驶虚拟场景,并引入真实场景中所述多传感器融合感知系统获取的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息,增强远程驾驶的临场感,同时这种结合虚拟场景的运动控制方法也可针对从地面总控室中远程控制载人月球车的大时延问题提供一种解决思路。
附图说明
图1显示了本发明中月面载人移动车系统的交互控制方式与交互装置的框架结构图;
图2显示了近端车载控制台的结构示意图;
图3显示了远端远程控制器的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明,但本发明的实施方式不限于此。
如图1所示,本发明为一种月面载人移动车系统的交互控制方式与交互装置,包括:安装于载人月球车内部的近端车载控制台、安装于月球基地或地面总控室的带振动反馈座椅的远端远程控制器以及载人月球车搭载的多传感器融合感知系统。本发明的月面载人移动车系统的交互控制方式与交互装置支持驾驶员在车体内部通过车载控制台完成月球车运动控制,也支持驾驶员在月球基地或地面总控室通过远程控制器完成月球车运动控制。除基本的运动控制交互,本发明也支持驾驶员获取丰富的月球车周围环境信息与自身状态信息,并以友好的交互方式呈现。
近端车载控制台,如图2所示,用于载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务。所述近端车载控制台具有多通道控制接口,驾驶员可通过操作面板模块1,以按键的方式控制车体供电以及自定义选择多通道控制接口种类。
所述多通道控制接口输入设备具体包括:带转向力反馈的方向盘2、置于左右方位的两块触摸屏3和4、用于语音交互的蓝牙耳机9、用于手势识别的数据手套10、用于脑电意图识别的EEG信号采集仪11。
驾驶员自定义选择控制通道接口的种类后,多通道信息采集融合装置开始采集各个接口的原始数据。其中语音交互采用基于神经网络的模板匹配完成语音唤醒和基于DNN-HMM的声学模型完成语音识别,手势识别采用基于K-means聚类剪枝的DTW动态手势识别算法,脑电识别采用基于CNN与CSP相结合的方法实现意图识别。根据通道优先级与自定义主辅通道协作的工作模式完成对多通道信号的融合处理,形成具体运动控制信号,用于对载人月球车的运动控制。
远端远程控制器,如图3所示,用于载人月球车驾驶员在月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务。所述远端远程控制器的多通道控制接口与多通道信息融合装置与上述近端车载控制台的一致,远端远程控制器的交互输入设备包括:带转向力反馈的方向盘13、用于语音交互的蓝牙耳机16、用于手势识别的数据手套17、用于脑电意图识别的EEG信号采集仪18。融合后的运动控制系统通过网桥点对点透传方式发送到车体的运动控制模块,继而实现车体的远程运动控制。
本发明的一种月面载人移动车系统的交互控制方式与交互装置还包括多传感器融合感知系统,具体传感器设备为:对角安装的前置40线激光雷达与后置16线激光雷达、四个广角摄像头、一个前置长焦摄像头、车载惯性测量单元与驱动器内置电流传感器。所述多传感器融合感知系统用于获取丰富的感知信息,包括:车体移动过程所建月面栅格地图、四路相机融合的车体全景视频流、第一视角车体运动视频流、可探测区域内的障碍物大小与距离信息、可探测区域内的斜坡坡度与坡长信息、月球车三轴姿态角与加速度以及车体各电机的实时电流。
所述多传感器融合感知系统获取的感知信息经过感知信息再处理模块,进一步地将视频流数据压缩,将非视频流数据滤波整合成帧数据格式,形成处理后的感知系统反馈信号发送至近端车载控制台与远端远程控制器。
近端车载控制台的左触摸屏3用于显示感知系统反馈信号的栅格地图和图形化的障碍物信息和斜坡信息;近端车载控制台的右触摸屏4用于显示感知系统反馈信号的车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;近端车载控制台的顶层显示屏5用于显示上述左右触摸屏的全部信息;近端车载控制台的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机9用于语音提示最近的障碍物信息与系统运行状态是否正常。
远端远程控制器的带转向力反馈的方向盘用于行进转向过程中根据感知系统反馈信号的电机电流模拟出转向力;蓝牙耳机16语音提示最近的障碍物信息与系统运行状态是否正常;带振动反馈座椅14不同于近端车载控制台的可调节座椅6,不仅可适用于驾驶员的坐姿和躺姿,其包含的四轴调节杆15还用于根据感知系统反馈信号中车体的实时空间姿态模拟出实际的颠簸状态;PC处理器模块用于在前置显示屏12中创建带虚拟方向盘的第一视角驾驶虚拟场景,并引入所述感知系统反馈信号的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息,可增强远程驾驶的交互性和临场感。
当进行载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务时,驾驶员通过近端车载控制台上的操作面板模块,以按键的方式控制车体供电以及自定义选择多通道控制接口种类,具体控制接口包括方向盘接口、触摸控制接口、语音控制接口、手势控制接口与脑机控制接口,具体控制方式为:转动方向盘与按压方向盘拨片、触碰左右触摸屏上的虚拟按键、蓝牙耳机麦克风语音输入、数据手套静态与动态手势、EEG信号采集仪的运动想象。近端多通道信息融合装置搭载有信号处理引擎,根据预先写入的优先级与主辅通道协作的工作模式对选择的各接口通道完成信号的采集、识别与融合,形成近端运动控制信号,直接发送到车体的运动控制模块完成对载人移动车的运动控制。在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息发送到近端车载控制台,具体表现形式为:近端车载控制台的左触摸屏用于显示感知系统反馈信号的栅格地图和图形化的障碍物信息和斜坡信息;近端车载控制台的右触摸屏用于显示感知系统反馈信号的车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;近端车载控制台的顶层显示屏用于显示上述左右触摸屏的全部信息;近端车载控制台的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常。当月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务时,驾驶员通过远端远程控制器上的方向盘按键自定义选择多通道控制接口种类,经远端多通道信息融合装置形成远端运动控制信号,以无线网桥点对点透传方式将远端控制信号发送到近端,并转发给车体的运动控制模块完成载人月球车远程驾驶模式下的运动控制。在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息通过网桥发送到远端远程控制器,具体表现形式为:带振动反馈座椅通过四轴调节杆可根据车体的实时空间姿态模拟出实际的颠簸状态;PC处理器在前置显示屏中创建带虚拟方向盘的第一视角驾驶虚拟场景,虚拟方向盘会跟随真实方向盘而转动,显示屏中还展示出感知系统反馈信号的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息;远端远程控制器的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。

Claims (6)

1.一种月面载人移动车系统的交互装置,其特征在于,包括安装于载人月球车内部的近端车载控制台、安装于月球基地或地面总控室的带振动反馈座椅的远端远程控制器以及载人月球车搭载的多传感器融合感知系统;
所述近端车载控制台通过载人月球车内部搭载的近端多通道控制接口接收近端驾驶员的多通道控制信息,经近端多通道信息融合装置将接收到的近端驾驶员的多通道控制信息融合成运动控制信号,并发送至车载运动控制模块,从而实现载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务;
所述远端远程控制器通过安装于月球基地或地面总控室的远端多通道控制接口接收远端驾驶员的多通道控制信息,经远端多通道信息融合装置将接收到的远端驾驶员的多通道控制信息融合成运动控制信号,并通过网桥点对点透传装置发送至车载运动控制模块,用于实现远程控制模式下的载人月球车移动巡视勘察任务;
多传感器融合感知系统,用于获取载人月球车的周围环境信息与自身状态信息,经感知信息再处理模块发送至近端车载控制台或远端远程控制器,通过视觉反馈、语音提示、阻尼力反馈与振动反馈方式呈现给载人月球车驾驶员。
2.根据权利要求1所述的月面载人移动车系统的交互装置,其特征在于,所述近端车载控制台具体包括:
操作面板模块,用于驾驶员通过按键的方式控制车体供电以及自定义选择多通道控制接口种类;
带转向力反馈的方向盘,用于根据电机电流模拟出车体行进中转向力;
置于驾驶员左方位的触摸屏,用于显示月面栅格地图和图形化的障碍物信息和斜坡信息;
置于驾驶员右方位的触摸屏,用于显示车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;
置于驾驶员上方的顶层显示屏,用于显示上述置于左右方位的触摸屏的全部信息;
可调节座椅,用于驾驶员在车内以坐姿驾驶月球车或以躺姿休息;
PC处理器模块,用于运行必要的显示软件和车体底层运动控制软件;
近端多通道控制接口,用于对接近端的外部输入控制接口,具体包括:方向盘接口、触摸控制接口、语音控制接口、手势控制接口与脑机控制接口;
近端多通道信息融合装置,用于同时采集近端多通道控制接口的交互信号,建有语料库、手势库和交互识别引擎,根据通道优先级与自定义主辅通道协作的工作模式完成对近端多通道信号的融合处理,形成具体运动控制信号,用于对载人月球车的运动控制。
3.根据权利要求1所述的月面载人移动车系统的交互装置,其特征在于,所述远端远程控制器具体包括:
带振动反馈的可调节座椅,用于远程控制中模拟车体实际的颠簸状态;
PC处理器用于在前置显示屏中创建带虚拟方向盘的第一视角驾驶虚拟场景,并引入所述多传感器融合感知系统获取的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息;
带转向力反馈的方向盘,用于根据电机电流模拟出车体行进中转向力;
远端多通道控制接口,用于对接远端的外部输入控制接口;
远端多通道信息融合装置,用于接收远端驾驶员的多通道控制信息,根据通道优先级与自定义主辅通道协作的工作模式完成对接收到的远端多通道信号的融合处理,形成具体运动控制信号,用于对载人月球车的运动控制。
4.根据权利要求1所述的月面载人移动车系统的交互装置,其特征在于,所述多传感器融合感知系统具体包括:安装于载人月球车外部的对角安装的前置40线激光雷达与后置16线激光雷达、四个广角摄像头、一个前置长焦摄像头、车载惯性测量单元与驱动器内置电流传感器;所述多传感器融合感知系统用于获取丰富的感知信息,包括:车体移动过程所建月面栅格地图、四路相机融合的车体全景视频流、第一视角车体运动视频流、可探测区域内的障碍物大小与距离信息、可探测区域内的斜坡坡度与坡长信息、月球车三轴姿态角与加速度以及车体各电机的实时电流。
5.根据权利要求1所述的月面载人移动车系统的交互装置,其特征在于,所述网桥点对点透传装置包括设置在远端远程控制器里面的远端网桥通信装置和设置在近端车载控制台上的近端网桥通信装置,所述远端网桥通信装置与所述近端网桥通信装置之间通过网桥点对点透传的方式通信。
6.一种用上述月面载人移动车系统的交互装置进行月面载人移动车系统交互控制的方法,其特征在于,该方法包括用上述的月面载人移动车系统的交互装置进行载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务以及在月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务:
当进行载人月球车驾驶员在月面进行车内有人驾驶模式下的月球车巡视勘察任务时,驾驶员通过近端车载控制台上的操作面板模块,以按键的方式控制车体供电以及自定义选择多通道控制接口种类,具体控制接口包括方向盘接口、触摸控制接口、语音控制接口、手势控制接口与脑机控制接口,具体控制方式为:转动方向盘与按压方向盘拨片、触碰左右触摸屏上的虚拟按键、蓝牙耳机麦克风语音输入、数据手套静态与动态手势、EEG信号采集仪的运动想象;
近端多通道信息融合装置搭载有信号处理引擎,根据预先写入的优先级与主辅通道协作的工作模式对选择的各接口通道完成信号的采集、识别与融合,形成近端运动控制信号,直接发送到车体的运动控制模块完成对载人移动车的运动控制;在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息发送到近端车载控制台,具体表现形式为:近端车载控制台的左触摸屏用于显示感知系统反馈信号的栅格地图和图形化的障碍物信息和斜坡信息;近端车载控制台的右触摸屏用于显示感知系统反馈信号的车体运动状态与操作面板按键状态、第一视角运动视频流、全景视频流和车体空间姿态;近端车载控制台的顶层显示屏用于显示上述左右触摸屏的全部信息;近端车载控制台的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常;
当月球基地或地面总控室进行远程控制模式下的月球车巡视勘察任务时,驾驶员通过远端远程控制器上的方向盘按键自定义选择多通道控制接口种类,经远端多通道信息融合装置形成远端运动控制信号,以无线网桥点对点透传方式将远端控制信号发送到近端,并转发给车体的运动控制模块完成载人月球车远程驾驶模式下的运动控制;在载人移动车运动的同时,其搭载的多传感器融合感知系统会实时将获取的车体周围环境信息和车体状态信息通过网桥发送到远端远程控制器,具体表现形式为:带振动反馈座椅通过四轴调节杆可根据车体的实时空间姿态模拟出实际的颠簸状态;PC处理器在前置显示屏中创建带虚拟方向盘的第一视角驾驶虚拟场景,虚拟方向盘会跟随真实方向盘而转动,显示屏中还展示出感知系统反馈信号的视频流信息、图形化的障碍物信息、车体空间姿态与运动信息;远端远程控制器的带转向力反馈的方向盘用于根据感知系统反馈信号的电机电流模拟出车体行进中转向力;蓝牙耳机语音提示最近的障碍物信息与系统运行状态是否正常。
CN202110113615.5A 2021-01-27 2021-01-27 一种月面载人移动车系统的交互装置及交互控制方法 Active CN112722331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113615.5A CN112722331B (zh) 2021-01-27 2021-01-27 一种月面载人移动车系统的交互装置及交互控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113615.5A CN112722331B (zh) 2021-01-27 2021-01-27 一种月面载人移动车系统的交互装置及交互控制方法

Publications (2)

Publication Number Publication Date
CN112722331A true CN112722331A (zh) 2021-04-30
CN112722331B CN112722331B (zh) 2022-07-22

Family

ID=75594229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113615.5A Active CN112722331B (zh) 2021-01-27 2021-01-27 一种月面载人移动车系统的交互装置及交互控制方法

Country Status (1)

Country Link
CN (1) CN112722331B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003028A (zh) * 2021-08-30 2022-02-01 苏州同元软控信息技术有限公司 月球车的控制方法及装置
CN114510512A (zh) * 2021-12-21 2022-05-17 中国大唐集团新能源科学技术研究院有限公司 一种基于深度学习与多重集成的风电短期功率预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104108475A (zh) * 2014-06-30 2014-10-22 上海宇航系统工程研究所 一种多功能载人月球车
CN106444751A (zh) * 2016-09-17 2017-02-22 哈尔滨理工大学 一种载人月球车移动控制系统
CN106422322A (zh) * 2016-09-21 2017-02-22 苏州哈工众志自动化科技有限公司 一种集vr头盔和动感座椅于一体的3d视觉驾驶平台
CN111580519A (zh) * 2020-05-12 2020-08-25 北京控制工程研究所 一种地月时延下月面探测准实时遥操作系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104108475A (zh) * 2014-06-30 2014-10-22 上海宇航系统工程研究所 一种多功能载人月球车
CN106444751A (zh) * 2016-09-17 2017-02-22 哈尔滨理工大学 一种载人月球车移动控制系统
CN106422322A (zh) * 2016-09-21 2017-02-22 苏州哈工众志自动化科技有限公司 一种集vr头盔和动感座椅于一体的3d视觉驾驶平台
CN111580519A (zh) * 2020-05-12 2020-08-25 北京控制工程研究所 一种地月时延下月面探测准实时遥操作系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨成等: "月球车实时遥操作方法研究", 《中国科学:信息科学》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003028A (zh) * 2021-08-30 2022-02-01 苏州同元软控信息技术有限公司 月球车的控制方法及装置
CN114003028B (zh) * 2021-08-30 2024-02-06 苏州同元软控信息技术有限公司 月球车的控制方法及装置
CN114510512A (zh) * 2021-12-21 2022-05-17 中国大唐集团新能源科学技术研究院有限公司 一种基于深度学习与多重集成的风电短期功率预测方法
CN114510512B (zh) * 2021-12-21 2023-10-31 大唐可再生能源试验研究院有限公司 一种基于深度学习与多重集成的风电短期功率预测方法

Also Published As

Publication number Publication date
CN112722331B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
US9108642B2 (en) Mobile object, system, and storage medium
CN112722331B (zh) 一种月面载人移动车系统的交互装置及交互控制方法
US9656690B2 (en) System and method for using gestures in autonomous parking
US9645640B2 (en) Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
CN105000170B (zh) 触摸屏控制器及行驶装置的控制方法
KR101334107B1 (ko) 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
CN105022398B (zh) 触摸屏控制器及行驶装置的控制方法
JP2003300444A (ja) 移動体の運転支援装置
JP2007080060A (ja) 対象物特定装置
JP4962940B2 (ja) 道案内システム
CN108393882B (zh) 机器人姿态控制方法及机器人
CN115185080A (zh) 一种车用可穿戴ar抬头显示系统
CN109366461A (zh) 无人驾驶汽车
CN111638786A (zh) 车载后排投影显示系统的显示控制方法、装置、设备及存储介质
US20130135201A1 (en) Vehicle with tactile information delivery system
CN114935340A (zh) 一种室内导航机器人、控制系统及方法
CN114791765A (zh) 一种基于混合现实技术的ros智能车交互方法
CN206363265U (zh) 一种车载显示屏智能切换装置
CN114077300A (zh) 虚拟现实中的三维动态导航
US20230415346A1 (en) Operation system, operation method, and storage medium
JP2020130502A (ja) 情報処理装置および情報処理方法
WO2024113839A1 (zh) 机械臂的控制方法、车辆以及电子设备
CN106527742A (zh) 一种车载显示屏智能切换装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant