CN117687418A - 基于人机交互的移动控制方法、装置、存储介质及终端 - Google Patents
基于人机交互的移动控制方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN117687418A CN117687418A CN202410154600.7A CN202410154600A CN117687418A CN 117687418 A CN117687418 A CN 117687418A CN 202410154600 A CN202410154600 A CN 202410154600A CN 117687418 A CN117687418 A CN 117687418A
- Authority
- CN
- China
- Prior art keywords
- control
- handle
- information
- display
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 74
- 230000006870 function Effects 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 11
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 6
- 239000000428 dust Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 8
- 238000013461 design Methods 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Selective Calling Equipment (AREA)
Abstract
本申请涉及一种基于人机交互的移动控制方法、装置、存储介质及终端。方法包括：获取移动控制的航天器驾驶状态、报警信息和事件通报信息；根据航天器驾驶状态和操纵手柄，进行移动控制的手柄及按键指令操控；根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；根据所述显示信息和显示屏，进行所述移动控制的显示；根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制。本申请具有可靠性高，实用性强，兼具扩展性和智能交互设计，实现了航天员与航天器间的自然交互；采用标准化接口，可在不同型号的航天器之间复用，降低了研制成本，提高了产品可靠性。
Description
技术领域
本发明涉及人机交互技术领域，更为具体来说，本发明涉及一种基于人机交互的移动控制方法、装置、存储介质及终端。
背景技术
为了顺利推进载人登月计划，目前正在开展载人月球探测关键技术深化。航天器作为月面航天员行动的唯一载体，用于扩大航天员的活动范围和减少航天员的体力消耗，可随时存放航天员采集的岩石和土壤标本，具有前进、后退、转弯、爬坡、取物、采样和翻转（跌倒后能翻身）等基本功能，甚至具有初级人工智能（例如，识别、爬越或绕过障碍物等）。
载人月球探测任务复杂、规模庞大，对电子设备标准化、综合化、模块化与轻小型化提出了更高要求。为了优化资源配置、实现跨航天器间资源整合，结合载人月球探测各器（月面着落上升器）、车（载人航天器）、站（月面科考站）的任务分工与分时分段使用特点，需要建立一套全新的人机交互操控系统。
发明内容
本申请实施例提供了一种基于人机交互的移动控制方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于人机交互的移动控制方法，该方法包括：
获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；
根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
根据所述显示信息和显示屏，进行所述移动控制的显示。
根据一种优选实施方式，所述获取移动控制的报警信息和事件通报信息，包括：
获取移动控制的综合电子管理单元内部的所述报警信息和所述事件通报信息。
根据一种优选实施方式，所述根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控，包括：
根据所述航天器驾驶状态和所述操纵手柄，进行所述移动控制的手柄移动加速、手柄移动减速、手柄向左转弯、手柄向右转弯、倒车按键、驻车按键和使能按键的指令操控；
将所述手柄移动加速、所述手柄移动减速、所述手柄向左转弯、所述手柄向右转弯、所述倒车按键、所述驻车按键和所述使能按键的指令操控作为所述移动控制的手柄及按键指令操控。
根据一种优选实施方式，所述操纵手柄具有操控指令误触发处理机制和月尘防护功能。
根据一种优选实施方式，所述根据所述显示信息和显示屏，进行所述移动控制的显示，包括：
显示汇总的航天器运动信息、定位信息、车辆信息和告警信息。
根据一种优选实施方式，所述操纵手柄通过RS422与所述显控处理器件进行传输，所述显示屏通过LVDS接口或HDM1接口与所述显控处理器件进行传输，所述综合电子管理单元通过以太网与所述显控处理器件进行传输。
根据一种优选实施方式，进一步地，还包括：
所述显示屏根据光直射时的显示问题，进行所述移动控制的显示亮度自动调节。
第二方面，本申请实施例提供了一种基于人机交互的移动控制装置，该装置包括：
获取模块，用于获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
第一处理模块，用于根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；
第二处理模块，用于根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
告警模块，用于根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
显示模块，用于根据所述显示信息和显示屏，进行所述移动控制的显示。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，所述基于人机交互的移动控制方法，首先获取移动控制的航天器驾驶状态、报警信息和事件通报信息；然后根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；其次根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；最后根据所述显示信息和显示屏，进行所述移动控制的显示；根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制。本申请实施例提供了一套全新的人机交互操控子系统，该人机交互操控子系统作为航天员与航天器交互的接口，为航天员提供操作、遥控、监测航天器的平台，更好的服务于航天员操作航天器，实现月面行驶；不仅满足了航天器人机交互的要求，也可在不同型号的航天器中复用，极大的节约了研制成本，缩短了研制周期。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于人机交互的移动控制方法的流程示意图；
图2是本申请实施例提供的一种基于人机交互的移动控制方法的载人操控子系统的结构示意图；
图3是本申请实施例提供的一种基于人机交互的移动控制方法的载人操控子系统的功能示意图；
图4是本申请实施例提供的一种基于人机交互的移动控制方法的显示屏的原理示意图；
图5是本申请实施例提供的一种基于人机交互的移动控制方法的显控处理模块的原理示意图；
图6是本申请实施例提供的一种基于人机交互的移动控制方法的操控手柄的原理示意图；
图7是本申请实施例提供的一种基于人机交互的移动控制装置的装置示意图；
图8是本申请实施例提供的一种终端示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面将结合附图1-附图6，对本申请实施例提供的一种基于人机交互的移动控制方法进行详细介绍。
请参见图1-6，为本申请实施例提供了一种基于人机交互的移动控制方法的流程示意图。如图1-6所示，本申请实施例的方法可以包括以下步骤：
本申请实施例的主要目的是为航天员提供操作、遥控、监测航天器的平台，更好的服务于航天员操作航天器，实现月面行驶。为实现该目的，本申请设计了一种基于人机交互的移动控制方法，所述方法对应一种基于人机交互的移动控制系统，是为了优化资源配置、实现跨航天器间资源整合，结合载人月球探测各器（月面着落上升器）、车（载人航天器）、站（月面科考站）的任务分工与分时分段使用特点，提出的一种全新的载人航天器人机交互的操控子系统。如图2和3所示，操控子系统具有指令采集、数据解算、图形驱动、指令处理、参数查询和语音识别等功能，包括显示屏、显控处理模块、操控手柄。其中，显示屏是操控子系统的状态信息反馈载体，作为航天员与航天器交互接口，通过显示屏获取所需信息；显示屏主要接受显控处理模块的信号，完成画面的显示，并具有亮度自调节功能。显控处理模块作为操控子系统的重要构成，主要用于航天器状态信息、数据的显示、语音交互和指令接收的任务，具体表现为对航天器的状态信息、操控指令、语音信息的采集接收及对显示数据进行综合的处理、显示、控制。操控手柄用于对航天器的加速、减速、转向、倒车、驻车等的控制，是航天员操控航天器的直接控制、交互设备。
本申请实施例提供的显示屏与显控处理模块相连，显控处理模块为显示屏提供供电和以太网接口，所述显示屏通过LVDS接口或HDM1接口与所述显控处理器件进行传输。所述综合电子管理单元通过以太网与所述显控处理器件进行传输，所述操纵手柄通过RS422与所述显控处理器件进行传输。
S100,获取移动控制的航天器驾驶状态、报警信息和事件通报信息。其中，所述获取移动控制的报警信息和事件通报信息，包括：获取移动控制的综合电子管理单元内部的所述报警信息和所述事件通报信息。所述航天器驾驶状态可通过显示屏查看。
S200,根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控,包括：
根据所述航天器驾驶状态和所述操纵手柄，进行所述移动控制的手柄移动加速、手柄移动减速、手柄向左转弯、手柄向右转弯、倒车按键、驻车按键和使能按键的指令操控；将所述手柄移动加速、所述手柄移动减速、所述手柄向左转弯、所述手柄向右转弯、所述倒车按键、所述驻车按键和所述使能按键的指令操控作为所述移动控制的手柄及按键指令操控。
具体的，操纵手柄又称操控手柄，操控手柄通过RS422与显控处理模块相连，所述操控手柄主要完成航天器驾驶状态控制，手控指令面板采集手柄及按键的指令，并将采集结果通过RS422送至显控处理模块。主要功能有：操控手柄固定安装于两个座位的中间位置，航天员单手驾驶即可持单手右手独立操作；操控手柄上包含手控指令面板上的倒车按键、驻车按键和使能按键。在倒车按键不按下的正常状态下，向前推手柄致使手柄移动加速表示车加速前进，向后拉手柄致使手柄移动减速表示车减速前进；当车停止后，手柄向后拉到最大偏移位置并保持为驻车（同时驻车按键按下）时，前进和后退信号被阻断；在倒车按键按下后，向后拉手柄致使手柄移动加速表示加速倒车，向前推手柄致使手柄移动减速表示倒车过程中的刹车；在长按使能按键后，手柄向左（转弯）表示车左转弯，手柄向右（转弯）表示车右转弯。
此外，所述操纵手柄还具有操控指令误触发处理机制和月尘防护功能。
如图6所示，操纵手柄的具体工作流程为：航天员控制操作手柄后，按键开关与手柄位置电位计将采集到的信号传至控制模块，经处理后控制模块将信号通过RS422传输至显控处理模块，通过通信模块传输至航天器，随后航天器做出反应。
S300,根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作。
所述显控处理模块对应其内的显控处理器件，显控处理模块主要用于航天器状态信息、数据的显示和语音交互的任务，使得航天员能够高效地获取所需信息。所述显控处理模块可通过语音指令切换显示界面、发送指令及查询参数信息；样车显控处理模块的对外通信总线为2路以太网，一路以太网用于传输告警信息、控制数据、航天器状态部分参数信息、授时信息、通信网管理信息和显示参数等，另一路以太网用于传输语音流信息，供显控处理模块进行语音识别。显控处理模块主要功能有：对航天器的状态信息、手柄及按键指令操控、语音信息的采集接收及对显示数据进行综合的处理、显示、控制。比如，可接收航天器其他电子设备通过总线发送过来的数据，根据该数据生成显示页面，并通过LVDS或HDMI接口传输给显示屏；默认界面可向航天员提供直观的车（即航天器）的状态信息。
此外，所述显控处理模块还具备语音告警提示，具有将告警语音通过以太网传输给综合电子管理单元的功能。显控处理模块通过总线接收并显示综合电子管理单元发送的报警信息和事件通报信息，显控处理模块作出（告警）控制操作，并根据接收到的综合电子管理单元的指令调用语句，将（告警）控制操作发送至综合电子管理单元。
如图5所示，显控处理模块的具体工作流程为：显控处理模块接收从综合电子管理单元以太网传输到的参数、语音和指令等信息，将信息处理（即将信息分别进行语音识别、算法处理、界面显示、总线管理等操作）后通过HDMI或LVDS传输至显示屏显示。
S400,根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制。
通过综合电子管理单元将（告警）控制操作中包含的告警语音转发给宇航服中的扬声器（耳机）播放。综合电子管理单元具备屏蔽事件通报的静音功能，具备屏蔽报警的静音功能。
S500,根据所述显示信息和显示屏，进行所述移动控制的显示,包括：显示汇总的航天器运动信息、定位信息、车辆信息和告警信息。
所述显示屏接收通过综合电子管理单元汇总后发送至显控处理模块的航天器运动信息、定位信息和告警信息等数据后，根据辅助航天员能够独立完成驾驶的原则，将这些数据信息（又称显示信息）显示在显示屏上。显示器作为航天器操控子系统的主要显示设备，设置1路双通道LVDS输入接口或1路HDMI接口，为航天员显示航天器位置信息、车辆信息和告警信息等。显示屏主要功能有：具备显示显控处理模块输出信号的功能，接收输入的屏供电和视频信号后进行画面显示；具备显示航天器位置信息、车辆信息和告警信息等的功能。
如图4所示，显示屏的具体工作流程为：显控处理模块将视频信号通过HDMI或LVDS传输给显示屏；显示屏的晶振产生时钟信号经CLK传输至控制模块，刷新芯片用于芯片的刷新，防止空间单子翻转；显示屏的控制模块，结合时钟信号、刷新芯片信息，通过编解码将视频信号通过MIPI传输至OLED屏幕进行显示。此外，显示屏内还有DDR3，与控制模块连接，用于控制模块的数据存储，以供控制模块随时调用。
所述方法还包括：
所述显示屏支持亮度自动调节，需应对太阳光直射后的显示问题，根据太阳光直射时的显示问题，进行所述移动控制的显示亮度自动调节；显示屏还具有防尘设计。
综上所述，本申请人机交互功能丰富，通过采用主处理器（即显控处理模块）加AI协处理器（即操控手柄）的异构多核架构方式，既可以满足传统交互数据的管理、解析，也为语音识别、语音合成、手势识别、图像处理等海量并行计算提供了可能，实现了交互装置的智能化交互。本申请可扩展性高，显控处理模块通过采用通用标准接口的模块化设计，引入功能扩展接口及预留功能扩展模块安装位置，实现标准模块的快速更换及功能扩展，以满足不同工况、环境、任务的需求，极大地拓展了该交互装置的应用领域及平台。本申请的人机交互操作既能够通过传统典型操作方式实现对多分支空间机器人的可靠交互，还能够通过沉浸式交互来进行在轨训练仿真及交互作业。所述基于人机交互的移动控制方法，具有可靠性高，实用性强，兼具扩展性和智能交互设计，实现了航天员与航天器间的自然交互；采用标准化接口，可在不同型号的航天器之间复用，降低了研制成本，提高了产品可靠性。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图7，其示出了本发明一个示例性实施例提供的一种基于人机交互的移动控制装置的结构示意图。该装置包括：获取模块10、第一处理模块20、第二处理模块30、告警模块40和显示模块50。
获取模块10，用于获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
第一处理模块20，用于根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；
第二处理模块30，用于根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
告警模块40，用于根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
显示模块50，用于根据所述显示信息和显示屏，进行所述移动控制的显示。
需要说明的是，上述实施例提供的基于人机交互的移动控制装置在执行基于人机交互的移动控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于人机交互的移动控制装置与 方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
所述基于人机交互的移动控制装置，首先获取移动控制的航天器驾驶状态、报警信息和事件通报信息；然后根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；其次根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；最后根据所述显示信息和显示屏，进行所述移动控制的显示；根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制。本申请实施例提供了一套全新的基于人机交互的移动控制装置，人机交互的操控作为航天员与航天器交互的接口，为航天员提供操作、遥控、监测航天器的平台，更好的服务于航天员操作航天器，实现月面行驶；不仅满足了航天器人机交互的要求，也可在不同型号的航天器中复用，极大的节约了研制成本，缩短了研制周期。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于人机交互的移动控制方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于人机交互的移动控制方法。
请参见图8，为本申请实施例提供了一种终端的结构示意图。如图8所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个终端1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行终端1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于人机交互的移动控制应用程序。
在图8所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于人机交互的移动控制应用程序，并具体执行以下操作：
获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；
根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
根据所述显示信息和显示屏，进行所述移动控制的显示；所述显示屏根据光直射时的显示问题，进行所述移动控制的显示亮度自动调节；
上述，所述操纵手柄通过RS422与所述显控处理器件进行传输，所述显示屏通过LVDS接口或HDM1接口与所述显控处理器件进行传输，所述综合电子管理单元通过以太网与所述显控处理器件进行传输。
根据一种优选实施方式，处理器1001在执行所述获取移动控制的报警信息和事件通报信息时，具体执行以下操作：
获取移动控制的综合电子管理单元内部的所述报警信息和所述事件通报信息。
根据一种优选实施方式，处理器1001在执行所述根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控时，具体执行以下操作：
根据所述航天器驾驶状态和所述操纵手柄，进行所述移动控制的手柄移动加速、手柄移动减速、手柄向左转弯、手柄向右转弯、倒车按键、驻车按键和使能按键的指令操控；
将所述手柄移动加速、所述手柄移动减速、所述手柄向左转弯、所述手柄向右转弯、所述倒车按键、所述驻车按键和所述使能按键的指令操控作为所述移动控制的手柄及按键指令操控；所述操纵手柄具有操控指令误触发处理机制和月尘防护功能。
根据一种优选实施方式，处理器1001在执行所述根据所述显示信息和显示屏，进行所述移动控制的显示时，具体执行以下操作：
显示汇总的航天器运动信息、定位信息、车辆信息和告警信息。
所述基于人机交互的移动控制方法，首先获取移动控制的航天器驾驶状态、报警信息和事件通报信息；然后根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；其次根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；最后根据所述显示信息和显示屏，进行所述移动控制的显示；根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制。本申请实施例提供了一套全新的基于人机交互的移动控制方法，人机交互的操控作为航天员与航天器交互的接口，为航天员提供操作、遥控、监测航天器的平台，更好的服务于航天员操作航天器，实现月面行驶；不仅满足了航天器人机交互的要求，也可在不同型号的航天器中复用，极大的节约了研制成本，缩短了研制周期。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (8)
1.一种基于人机交互的移动控制方法，其特征在于，包括以下步骤：
获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控；所述根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控，包括：
根据所述航天器驾驶状态和所述操纵手柄，进行所述移动控制的手柄移动加速、手柄移动减速、手柄向左转弯、手柄向右转弯、倒车按键、驻车按键和使能按键的指令操控；
将所述手柄移动加速、所述手柄移动减速、所述手柄向左转弯、所述手柄向右转弯、所述倒车按键、所述驻车按键和所述使能按键的指令操控作为所述移动控制的手柄及按键指令操控；
所述操纵手柄具有操控指令误触发处理机制和月尘防护功能；
根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
根据所述显示信息和显示屏，进行所述移动控制的显示。
2.根据权利要求1所述的移动控制方法，其特征在于，所述获取移动控制的报警信息和事件通报信息，包括：
获取移动控制的综合电子管理单元内部的所述报警信息和所述事件通报信息。
3.根据权利要求1所述的移动控制方法，其特征在于，所述根据所述显示信息和显示屏，进行所述移动控制的显示，包括：
显示汇总的航天器运动信息、定位信息、车辆信息和告警信息。
4.根据权利要求1所述的移动控制方法，其特征在于，所述操纵手柄通过RS422与所述显控处理器件进行传输，所述显示屏通过LVDS接口或HDM1接口与所述显控处理器件进行传输，所述综合电子管理单元通过以太网与所述显控处理器件进行传输。
5.根据权利要求1所述的移动控制方法，其特征在于，进一步地，还包括：
所述显示屏根据光直射时的显示问题，进行所述移动控制的显示亮度自动调节。
6.一种基于人机交互的移动控制装置，其特征在于，包括：
获取模块，用于获取移动控制的航天器驾驶状态、报警信息和事件通报信息；
第一处理模块，用于根据所述航天器驾驶状态和操纵手柄，进行所述移动控制的手柄及按键指令操控，具体包括：
根据所述航天器驾驶状态和所述操纵手柄，进行所述移动控制的手柄移动加速、手柄移动减速、手柄向左转弯、手柄向右转弯、倒车按键、驻车按键和使能按键的指令操控；
将所述手柄移动加速、所述手柄移动减速、所述手柄向左转弯、所述手柄向右转弯、所述倒车按键、所述驻车按键和所述使能按键的指令操控作为所述移动控制的手柄及按键指令操控；
所述操纵手柄具有操控指令误触发处理机制和月尘防护功能；
第二处理模块，用于根据所述手柄及按键指令操控、语音信息、所述报警信息、所述事件通报信息和显控处理器件，确定所述移动控制的显示信息和控制操作；
告警模块，用于根据所述控制操作和综合电子管理单元，进行所述移动控制的告警控制；
显示模块，用于根据所述显示信息和显示屏，进行所述移动控制的显示。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-5任意一项的方法步骤。
8.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-5任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410154600.7A CN117687418A (zh) | 2024-02-04 | 2024-02-04 | 基于人机交互的移动控制方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410154600.7A CN117687418A (zh) | 2024-02-04 | 2024-02-04 | 基于人机交互的移动控制方法、装置、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117687418A true CN117687418A (zh) | 2024-03-12 |
Family
ID=90130412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410154600.7A Pending CN117687418A (zh) | 2024-02-04 | 2024-02-04 | 基于人机交互的移动控制方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117687418A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106508030B (zh) * | 2011-07-22 | 2014-05-14 | 中国人民解放军国防科学技术大学 | 遥操作交会对接仿真平台 |
| CN106444751A (zh) * | 2016-09-17 | 2017-02-22 | 哈尔滨理工大学 | 一种载人月球车移动控制系统 |
| CN111026289A (zh) * | 2019-11-29 | 2020-04-17 | 北京空间技术研制试验中心 | 用于载人航天器的人机交互终端 |
| CN111113456A (zh) * | 2019-12-24 | 2020-05-08 | 兰州空间技术物理研究所 | 一种空间机械臂在轨操作平台及系统 |
| CN111853222A (zh) * | 2020-07-29 | 2020-10-30 | 中国重汽集团济南动力有限公司 | 一种车辆换挡手柄控制系统及控制方法 |
| CN114779931A (zh) * | 2022-04-12 | 2022-07-22 | 兰州空间技术物理研究所 | 一种宇航用人机交互平台 |
| CN115303515A (zh) * | 2022-08-10 | 2022-11-08 | 北京空间飞行器总体设计部 | 一种面向空间双臂在轨操作的航天员舱内操作及显控系统 |
| CN116434633A (zh) * | 2023-03-01 | 2023-07-14 | 北京控制工程研究所 | 一种小型便携式人控交会对接在轨训练系统 |
| US20230333552A1 (en) * | 2022-04-13 | 2023-10-19 | Rotor Technologies, Inc. | Methods and systems for human-in-the-loop vehicular command and control using immersive synthetic vision |
-
2024
- 2024-02-04 CN CN202410154600.7A patent/CN117687418A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106508030B (zh) * | 2011-07-22 | 2014-05-14 | 中国人民解放军国防科学技术大学 | 遥操作交会对接仿真平台 |
| CN106444751A (zh) * | 2016-09-17 | 2017-02-22 | 哈尔滨理工大学 | 一种载人月球车移动控制系统 |
| CN111026289A (zh) * | 2019-11-29 | 2020-04-17 | 北京空间技术研制试验中心 | 用于载人航天器的人机交互终端 |
| CN111113456A (zh) * | 2019-12-24 | 2020-05-08 | 兰州空间技术物理研究所 | 一种空间机械臂在轨操作平台及系统 |
| CN111853222A (zh) * | 2020-07-29 | 2020-10-30 | 中国重汽集团济南动力有限公司 | 一种车辆换挡手柄控制系统及控制方法 |
| CN114779931A (zh) * | 2022-04-12 | 2022-07-22 | 兰州空间技术物理研究所 | 一种宇航用人机交互平台 |
| US20230333552A1 (en) * | 2022-04-13 | 2023-10-19 | Rotor Technologies, Inc. | Methods and systems for human-in-the-loop vehicular command and control using immersive synthetic vision |
| CN115303515A (zh) * | 2022-08-10 | 2022-11-08 | 北京空间飞行器总体设计部 | 一种面向空间双臂在轨操作的航天员舱内操作及显控系统 |
| CN116434633A (zh) * | 2023-03-01 | 2023-07-14 | 北京控制工程研究所 | 一种小型便携式人控交会对接在轨训练系统 |
Non-Patent Citations (1)
| Title |
|---|
| 朱博;周震;邱新安;段福伟;陶院;王禺林;: "开放式载人月球车人机交互系统的人机工效学设计", 航天器环境工程, no. 05, 25 October 2020 (2020-10-25), pages 519 - 524 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190317490A1 (en) | Control method, device, and remote control for vr apparatus | |
| US5812804A (en) | Display apparatus for tossing windows | |
| KR100736040B1 (ko) | 무선 디스플레이 장치에서 입력 장치의 이동을 ｏｓｄ영역에 표시하는 방법 및 장치 | |
| WO2016043070A1 (ja) | ウィンドウ制御方法、情報処理装置およびその制御方法と制御プログラム | |
| Aivaliotis et al. | An augmented reality software suite enabling seamless human robot interaction | |
| US11747802B2 (en) | Ruggedized remote control display management system for harsh and safety-critical environments | |
| CN106406350A (zh) | 一种控制无人机的方法和系统 | |
| Szczurek et al. | Multimodal multi-user mixed reality human–robot interface for remote operations in hazardous environments | |
| CN115303515A (zh) | 一种面向空间双臂在轨操作的航天员舱内操作及显控系统 | |
| US9878246B2 (en) | Method and device for controlling a display device | |
| CN117687418A (zh) | 基于人机交互的移动控制方法、装置、存储介质及终端 | |
| US20130249810A1 (en) | Text entry mode selection | |
| CN115112124A (zh) | 运动状态确定方法、装置、电子设备和可读存储介质 | |
| Mitra et al. | Trades, Architecture, and Design of the Joint Augmented Reality Visual Informatics System (Joint AR) Product | |
| US9910698B2 (en) | Information processing apparatus, information processing method, and program | |
| CN110027718B (zh) | 一种面向大型民用飞机驾驶舱的触摸显示控制系统 | |
| CN114834453A (zh) | 数据处理方法、装置、车辆、设备和存储介质 | |
| Jones et al. | Human-robot interaction for field operation of an autonomous helicopter | |
| Chintamani et al. | Wearable crew support technology on the International Space Station: the mobile Procedure Viewer (mobiPV) | |
| KR101871742B1 (ko) | 항공기 덤 타입 장비의 시현 방법 및 장치 | |
| CN113672145B (zh) | 一种空中彩屏成像交互装置 | |
| Zhang et al. | Development of an OpenGL based multi-robot simulating platform | |
| KR100946672B1 (ko) | 햅틱 인터페이스를 이용한 3차원 장면에서의 카메라 네비게이션 방법 및 시스템 | |
| CN115202340A (zh) | 水下航行器自定义运行方法、系统、设备及存储介质 | |
| CN113805873A (zh) | 无代码工作流定义方法、终端设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |