CN111552315A - 一种飞行驾驶方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种飞行驾驶方法、装置、设备和存储介质，用于在民航飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制，本发明实施例涉及一种提升机组运行效率和实现单一飞行员驾驶的设计方法，提供了面向驾驶舱多目标复杂环境约束下提升民航运行智能化程度和机组运行效率的设计方法，详述了以非侵入方式安装在驾驶舱内部的人机共同驾驶系统的总体设计、功能定义与接口数据关系，满足在不改变驾驶舱现有布局的基础上，人机功能分配和人机交互策略研究内容，属于智能飞行系统领域。

Description

一种飞行驾驶方法、装置、设备和存储介质

技术领域

本发明实施例涉及航空飞机控制技术领域，尤其涉及一种飞行驾驶方法、装置、设备和存储介质。

背景技术

在民用飞机领域，驾驶舱操纵机组人员一般由正、副驾驶两人组成，通常由左边的机长完成起飞和着陆阶段的关键动作，副驾驶帮助完成检查单，以及检查各仪表设备是否正常，及协助收放襟翼以及起落架。正副驾驶是对称的，两边的操纵机构基本一致，控制油门的手柄在中间，两个人均可控制。机长除了驾驶飞机外，还是飞行途中的管理者，这项职责通常是在机长不控制飞行的时间里进行，特别是在发生紧急情况时。在副驾驶控制飞行时，机长可以接收来自副驾、乘务员、调度员和空中交通指挥员的信息，依此来决策事务，确保飞行顺利。机组驾驶人员负责飞行具体任务制定、各种阶段飞行操控、仪器仪表监控等，承担着比较繁重的驾驶任务，因此机组驾驶人员体力消耗比较大。尤其在长途飞行中，由于人的身体自然生理条件限制，很难保证长时间的专注注意力，因而飞行途中缺乏长期有效的驾驶监控与辅助。随着近年来智能飞行和单人驾驶概念的提出，人机共驾系统在民航飞行领域的应用和实践被重视，即用机器人代替副驾驶的位置，从而在维持现有民航驾驶舱双人制机组基本构型不变的基础上，增强民机运行的智能化程度、减轻驾驶员的飞行操作负担，提升飞行效率的同时，提高飞机安全性能。

目前已存在依靠协作机器人代替副驾驶员的方案，如极光科学飞行公司实现了面向现役双人机组飞机(B737)的单一飞行员驾驶系统的实现。该系统具备与人类驾驶员的指令交互功能，可以依靠前期设置的点位信息与路径规划，引导机器人自动化系统完成在确定驾驶舱环境下的标准下降流程操作执行，实现副驾驶(机组自动化系统)完成在紧急情况下的自主下降操作流程实现。

但是，现有的人机共驾方案主要集中满足实现飞行驾驶操作自动化基础上的机组自动化系统的设计方法和总体架构，并未指出在现有方案的前提下，如何实现有效的人(主驾驶飞行员)-机(副驾驶机器人)协同驾驶操作，以实现驾驶行为的综合高效和安全运行。并且在现有的人机共驾架构中，只是单纯的对副驾驶机器人的操作进行固化设置，但是机器人在驾驶舱内的运动存在对驾驶舱安全造成一定隐患的问题。

发明内容

本发明实施例提供一种飞行驾驶方法、装置、设备和存储介质，通过对副驾驶机器人对飞机驾驶舱环境中的目标操作对象的操作过程进行约束，提高了面向驾驶舱多目标复杂环境下机组的安全运行效率。

第一方面，本发明实施例提供了一种飞行驾驶方法，用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制，包括：

确定副驾驶机器人待操作的目标操作对象；

控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

第二方面，本发明实施例还提供了一种飞行驾驶装置，用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制，包括：

目标操作对象确定模块，用于确定副驾驶机器人待操作的目标操作对象；

机器人粗移动模块，用于控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

精准定位点确定模块，用于控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

目标操作对象操作模块，用于控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的飞行驾驶方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的飞行驾驶方法。

本发明实施例基于在飞机驾驶舱环境下确定副驾驶机器人所需操作的目标操作对象，通过驾驶舱的深度图像实现对驾驶舱内控制面板区域的粗定位，并基于粗定位结果根据局部图像特征进行精准定位，实现了机器人对目标操作对象的精准移动以及操作，进而提高飞机驾驶的安全运行效率。满足在不改变驾驶舱现有布局的基础上，提供了面向驾驶舱多目标复杂环境约束下提升民航运行智能化程度和机组运行效率的设计方法。

附图说明

图1是本发明实施例一中的飞行驾驶方法的流程图；

图2是本发明实施例二中的飞行驾驶方法的流程图；

图3是本发明实施例三中的飞行驾驶装置的结构示意图；

图4是本发明实施例四中的飞行驾驶系统的结构示意图；

图5是本发明实施例五中的设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的飞行驾驶方法的流程图，本实施例可适用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制的情况。该方法可以由飞行驾驶装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在民航飞机中。如图1所示，该方法具体包括：

步骤101、确定副驾驶机器人待操作的目标操作对象。

其中，操作对象是指机器人需要执行的驾驶舱内的对象，可选的，操作对象可以是按钮或操作杆等。示例性的，确定目标操作对象包括确定操作对象的信息(如操作对象的位置信息等)以及需要对操作对象执行的动作(如执行动作时的力矩信息等)。如操作对象为按钮时，需要执行点按动作，则确定按钮的位置以及点按操作的力度；操作对象是操作杆时，需要执行推拉动作。

具体的，目标操作对象可以由副驾驶机器人根据标准流程下的人机功能分配结果进行确定，通过与驾驶舱飞行信息数据的获取，实现对标准飞行流程下的数据采集和处理，并对当前飞行阶段进行辨识，确定副驾驶机器人需要执行的目标操作对象。例如，确定副驾驶机器人下一步需要操作的按钮信息。

步骤102、控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定。

其中，粗定位点用于对目标操作对象的位置进行预先定位，提高机器人对目标操作对象的空间位置确定的精准性。

在每一次飞行之前需要对驾驶舱内的控制面板区域进行标定，通过全局图像采集器采集的驾驶舱的深度图像，对驾驶舱内的控制面板进行三维建模，标定驾驶舱内各控制面板区域，得到各控制面板区域的位置。并根据控制面板区域的位置以及各操作对象在控制面板区域上的相对位置，确定各操作对象在驾驶舱内的空间位置。

作为一个可选的实施例，可选的，控制所述副驾驶机器人移动至所述目标操作对象的粗定位点之前，还包括：

根据全局图像采集器采集的驾驶舱的深度图像对驾驶舱进行三维建模，得到所述驾驶舱中控制面板区域的位置；其中，所述控制面板区域至少包括如下一项：顶控板、机器控制面板(Mode Control Panel，MCP板)以及中央操控台；

根据所述控制面板区域的位置，以及所述控制面板区域中的候选操作对象与所述控制面板区域之间的相对位置，确定所述候选操作对象的粗定位点。

示例性的，通过安装在驾驶舱顶部的全局RGB深度相机，在起飞前准备阶段，指令识别驾驶舱空间深度信息，生成操作对象所在面板的三维点云数据，构建驾驶舱顶控板、遮光罩、MCP板、中央操控台等主要控制面板区域相对于执行机构基坐标的相对位置数据，感知覆盖场景功能区域的空间位置关系，实现机器人副驾驶空间粗略试教位置的自动捕获。

通过在起飞前利用全局图像采集器对驾驶舱内控制面板区域的布局标定，实现了驾驶舱内各操作对象的空间位置的粗定位，避免需要进行示教，若采用示教方式对操作对象的位置进行确定，效率低，灵活性差。通过视觉进行自动捕获位置信息，在驾驶舱控制面板区域发生偏移的情况下，能够准确识别，提高机组运行安全性，并且位置确定效率高。

步骤103、控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点。

局部图像采集器位置副驾驶机器人的末端位置上，用于在机器人移动至目标操作对象的粗定位点后对目标操作对象所在的局部图像进行采集，实现对目标操作对象精准定位点的确定。

飞机在运行过程中，环境变化较大，由于系统要求的高度精确性，长时间的运行，系统将产生累计误差。并且在长时间的运行使用过程中，不断的机械振动(机器人本身和外部传导进来的)将使机器人安装的初始位置发生一些改变，机器人不是理想的刚体结构，长时间的运行，机器人末端位置将会产生累积误差，利用机器人上的局部图像采集器在粗定位点处采集局部图像，根据局部图像特征识别目标操作对象，得到目标操作对象的精准定位点。保证机器人对目标操作对象位置确定的精准度，提高机器人控制精度，进而保证目标操作对象执行的准确性，避免误操作，保证飞机的安全运行。

步骤104、控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

确定目标操作对象的精准定位点后，根据目标操作对象的信息确定机器人的操作方式，对目标操作对象进行操作。示例性的，目标操作对象为按键类型时，根据类型信息确定该对象的操作方式为按压，则机器人基于精准定位点执行按压操作，实现对目标操作对象的操作。

本发明实施例基于在飞机驾驶舱环境下确定副驾驶机器人所需操作的目标操作对象，通过驾驶舱的深度图像实现对驾驶舱内控制面板区域的粗定位，并基于粗定位结果根据局部图像特征进行精准定位，实现了机器人对目标操作对象的精准移动以及操作，进而提高飞机驾驶的安全运行效率。满足在不改变驾驶舱现有布局的基础上，提供了面向驾驶舱多目标复杂环境约束下提升民航运行智能化程度和机组运行效率的设计方法。

实施例二

图2是本发明实施例二中的飞行驾驶方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图2所示，所述方法包括：

步骤201、在处于人机共驾模式过程中，获取驾驶舱的飞行状态。

其中，人机共驾模式是指控制飞机的其中一种飞行方式，示例性的，还可以包括自动驾驶模式。人机共驾模式是指由副驾驶机器人和唯一主驾驶员协同对飞机完成驾驶操作，在该模式下操作对象的执行者由机器人和驾驶员共同承担；自动驾驶模式是指完全由机器人实现对飞机的驾驶操作，在该模式下操作对象的执行者只由机器人承担，此时唯一主驾驶员处于监察的作用，在突发状况发生时，驾驶员可以结束当前自动驾驶模式。可选的，驾驶模式的设置可以在飞行起飞之前进行确定；或者在飞机飞行过程中进行切换。具体的，由驾驶人员根据实际飞行场景、飞行状态、驾驶舱环境以及应急突发事件等情况通过飞行模式进行自主设置，或者由系统监测到驾驶人员对飞机进行控制操作，则自动对飞行模式进行转换，以便及时对突发状况进行处理。

飞行状态是指针对当前驾驶舱环境信息得到飞机的综合状态参数，包括对驾驶舱总线信息的获取和关键参数辨识(通过机器视觉捕获)，对驾驶舱仪表数据的识别，以及对驾驶舱结构化和非结构化状态的在线捕获和分析，以便机器人根据飞机的综合状态确定操作对象。

步骤202、根据所述驾驶舱的飞行状态，以及预设的标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

在处于人机共驾模式过程中，机器人需要配合驾驶人员，根据当前阶段飞行状态信息随时调整后续操作对象，避免与当前的飞行状态冲突。确定飞机当前所处的飞行状态后，按照预先设置的标准飞行流程，确定在当前飞行状态下应当执行的操作流程。示例性的，飞机在降落时，机器人根据对驾驶舱状态信息的判断，确定飞行状态，并确定当前飞行状态在预设的标准飞行流程中匹配的目标操作对象，实现配合驾驶人员进行降落操作，提高对飞机控制的效率。

可选的，标准飞行流程包括至少两个候选操作对象，所述候选操作对象的执行顺序和执行方式信息，所述候选操作对象的执行方式信息用于确定所述候选操作对象的执行者为所述副驾驶机器人还是主驾驶人员。

标准飞行状态是指模拟飞机的正常飞行状态，包括从起飞到降落的一系列全过程，将飞机的飞行过程划分为由各个候选操作对象组成的。

预先基于形成的单一驾驶人员驾驶飞行场景，结合飞行操作手册、飞行员的操作经验等，对传统机型的飞行操作流程和步骤进行梳理和分析，将单人驾驶的控制分解至具体的操作行为和动作，并且结合人机操作的特性，将各个操作行为和动作进行合理分配，分配给驾驶人员、机器人或两者共同控制，形成驾驶舱人机协同功能分配结果。并将分配结果按照飞机飞行状态进行设置，形成标准飞行流程。

可选的，根据所述驾驶舱的飞行状态，以及预设的标准飞行流程，确定副驾驶机器人待操作的目标操作对象，包括：

若根据所述驾驶舱的飞行状态检测到主驾驶人员的飞行流程跳转事件，则确定所述主驾驶人员的当前操作对象；

根据所述当前操作对象和所述标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

飞行流程跳转事件是指在飞机飞行过程中发生突发事件，主驾驶人员根据飞机状态对飞机运行过程进行调整的事件。

具体的，根据飞机的飞行状态，检测到不符合按照标准飞行流程确定的操作对象操作事件，则表示检测到主驾驶人员的飞行流程跳转事件，并对主驾驶人员针对飞行流程跳转事件所执行的当前操作对象。将当前操作对象与标准飞行流程进行匹配，确定在标准飞行流程中，机器人在当前操作对象之后应该执行的操作对象，为副驾驶机器人待操作的目标操作对象。

通过对飞行流程跳转事件的检测，实现了机器人对驾驶人员操作的智能协同配合，提高提高机器人的应变能力和对飞机控制的安全性。

步骤203、采用阻抗控制模式，控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点。

阻抗控制模式可以分为力闭环的阻抗控制和零空间阻抗控制两种方法。人机共驾模式下，存在大范围移动机器人末端的情况，而在仅可容纳两人的狭小驾驶舱内，在完成轨迹规划后大范围调整位姿的过程中，机器人可能会与飞行员发生碰撞。为避免碰撞对飞行员的伤害，满足机器人与环境、人进行交互协作的柔顺性需求，本发明实施例采用力闭环阻抗控制方法实现防碰撞柔顺运动控制。力闭环阻抗控制通过控制交互点处机器人所受外力与运动状态之间的动态关系，使之满足期望的动态柔顺运动特性，实现对机器人柔顺运动性能的控制，并通过改变期望动态特性以满足不同交互操作任务的柔顺性需求。示例性的，在机器人轴上均装有整体式的力矩传感器，可以准确测量从而控制每个关节的力矩。在力闭环阻抗控制中机器人获得实际位置和参考位置之间偏差的反馈，并根据期望的目标阻抗特性计算出期望施加在机器人交互位置处的力/力矩，而后通过控制每个关节的输出力矩使得交互位置处产生该期望力/力矩，同时通过对力的测量或估计进行力反馈形成闭环力控制，从而实现期望的柔顺特性。力控制器的设计结合自适应算法可以有效减少阻抗控制对未知环境模型和机器人动力学模型的依赖。采用力闭环阻抗控制的机器人在受到外力作用时具有良好的柔顺性。当机器人与飞行员发生碰撞，机器人轴上的力矩传感器得到碰撞的外力信息，通过一定算法降低各关节的输出力矩，展现出一种类似弹簧的弹性。在这种情况下飞行员不会受到机器人运动带来的伤害，甚至其可以将机器人推开。通过力闭环阻抗控制，机器人不会对被撞人员施加超过安全范围的力，从而保障了被撞人员的安全。

步骤204、采用视觉伺服控制模式，控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据所述局部图像确定所述目标操作对象的精准定位点。

视觉伺服控制模式是指采用视觉引导可以保证机器人末端位置控制的精度，使机器人控制具有更好的精度和鲁棒性。在人机共驾模式中，飞机在运行过程中环境变化较大，由于系统要求的高度精确性，长时间的运行系统将产生累计误差，因此使用视觉引导技术可以对机器人进行标定。视觉引导技术具体将解决系统以下问题：系统在长时间的运行使用过程中，不断的机械振动(机器人本身和外部传导进来的)将使机器人安装的初始位置发生一些改变。同时严格意义上，机器人不是理想的刚体结构，长时间的运行，机器人末端位置将会产生累积误差。对于机器人运动过程中，相机可以“看到”识别的物体。当机器人运行到目标操作对象(如按键)位置时，使用视觉反馈控制技术对机器人末端位置误差进行补偿，提高位置控制的精度，增加系统的鲁棒性。

可选的，视觉伺服控制模式提供机器人副驾驶对驾驶舱操作对象的视觉伺服引导功能，通过对目标对象采集图像信息的深度学习训练，特征匹配算法识别，获取操作对象相对于机器人末端夹具的相对位置信息，生成基于X-Y-Z三轴的相对位置运动参数。

步骤205、采用力位混合伺服控制模式，控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

力位混合伺服控制模式用于机器人在需要与环境进行刚性接触的操作任务执行中，在其刚性接触的自由度上需要保持一定的接触力且接触力不对机器人输出机械功(力控制方向的位移可忽略)，而在其他的自由度上需要进行轨迹规划的位置控制，则引入一个柔顺选择矩阵来区分需要进行力控制的自由度和需要进行位置控制的自由度，从而实现位置和力的分别控制。力位混合伺服控制模式包括在对操作对象进行执行时，在水平方向实行位伺服控制模式，在垂直方向执行力伺服控制模式，实现对操作对象的保护，避免对其造成的物理损伤，延长使用寿命。

具体的，确定目标操作对象后，机器人需要从初始位置移动至目标操作对象所在位置对其进行相应的动作。确定该目标操作对象的粗定位点，启动阻抗控制模式将机器人从初始位置移动至粗定位点；在粗定位点完成由机器人的局部图像采集器对该操作对象所在控制面板区域的拍照，并识别目标操作对象在该区域的精确位置，确定在粗定位点对操作对象的空间位置的位置补偿，通过位置补偿将机器人移动至目标操作对象的精确位置；启动力位混合伺服控制模式，在水平方向启动位伺服控制模式，使得机器人与操作对象的法平面垂直；在垂直方向启动力伺服控制模式，确定对目标操作对象的操作方式及操作力度，完成后实现对目标操作对象的执行。

通过在对目标操作对象进行操作过程中利用三种控制模式进行切换，从而完成对操作对象的控制，力闭环阻抗控制实现当机组自动化系统手臂做空间大范围运动过程中机器人的主动柔顺性，避免对驾驶舱环境以及驾驶人员的伤害；为了保证对操作对象位置的准确识别，使用视觉伺服引导控制，水平使用视觉传感器进行位置误差的补偿，同时使用力控制技术克服外界干扰，保证操作的位置精度；最后在操作对象时，使用力位混合控制，水平方向使用位置控制，保证操作的精度，垂直方向使用力控制，防止碰撞及损坏部件。综上所述，在对操作对象进行执行时，通过三种控制模式既保证了对操作对象的精确控制，也实现了对驾驶舱环境以及驾驶人员的保护。

示例性的，在进行按键按压之前，首先对机器人进行示教，同时使用三维重构方式求取操作板法向量。使安装在末端机器人上的相机获取的图像中清晰地包含按键，同时相机平面与操作台平面平行，此时的示教点称为粗定位点。按压按键时，机器人通过力阻抗控制运动到视觉点，获取面板上按键的图像信息进行分析，按键识别，通过按键上的字母来实现对不同按键以及按键位置的识别。识别出按键后，通过视觉控制控制使机器人运动到所要按压按键的垂直正上方。然后机器人缓慢垂直向下运动实现按压按键，此时力控制方式切换为力位混合控制。水平方向上使用位置控制，保证位置精度。垂直方向使用力控制，当接触力大于某一阈值的时候认为按键已完成按压，保证按键的力度。最后控制机器人垂直向上运动至其离开按键，至此完成按压按键的过程。

通过具备相机获取视觉图像信息识别按键可保证实际使用时的灵活性。当出现位置误差时，避免需要重新对按键位置信息进行完整录入。而力传感器的使用可保证按压按键的可靠性，有效避免由于用力过大导致按键损坏的情况。

作为一个可选的实施例，可选的，副驾驶机器人还设置有末端力感知传感器；相应地，在控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象过程中，还包括：

通过所述末端力感知传感器检测所述副驾驶机器人对所述目标操作对象的操作作用力值；对所述操作作用力值进行调节，使所述操作作用力值小于安全操作作用力阈值。其中，末端力感知传感器用于检测机器人对操作对象的力度，例如机器人按压按键的力度。

具体的，在机器人对目标操作对象进行操作的过程中，实时检测机器人的操作作用力值，以保证操作作用力值小于预先设置的安全操作作用力阈值。安全操作作用力阈值可以根据操作对象的类型进行预先设置，具体的，可以根据经验值以及操作对象的材料进行确定。并且也可以对操作对象的执行可靠性进行监测，避免操作失败的现象，例如操作作用力过小，按键按压失败。

在机器人上设置末端力感知传感器保证目标操作对象执行成功的可靠性，也有效避免用力过大导致目标操作对象损坏的现象。

作为一个可选的实施例，可选的，本发明实施例方法还包括：

若根据所述驾驶舱的深度图像检测到障碍物进入所述副驾驶机器人的工作区域，则根据所述驾驶舱的深度图像对所述障碍物进行三维建模，得到所述障碍物的运动趋势；根据所述障碍物的运动趋势，控制所述副驾驶机器人避障。

在机器人进行动作的同时，根据全局图像采集器获取到的深度图像信息对机器人的工作区域进行检测，确定是否存在障碍物。对障碍物的检测可以通过驾驶舱的深度图像对检测到障碍物进行三维建模，确定障碍物的运动趋势，并根据其运动趋势判断与机器人的运动是否冲突，若发生冲突则控制机器人进行避障。

由于在驾驶舱内共同存在机器人和主驾驶人员，而对主驾驶人员的运动无法进行规划，则面对突发状况以及主驾驶人员进入机器人安全区域时，需要控制机器人对主驾驶人员进行避障，以保护主驾驶人员不受伤害。

示例性的，全局RGB深度相机通过对结构化外的深度图像进行识别捕获，采集实时运动的障碍物点云数据，根据副驾驶机器人当前位姿状态，生成机器人副驾驶的下一步运动控制策略，实现机器人避障。

作为一个可选的实施例，可选的，副驾驶机器人还设置有关节力感知传感器；相应地，所述方法还包括：

通过所述关节力感知传感器检测主驾驶人员和/或驾驶舱环境对所述副驾驶机器人的环境作用力值；若所述环境作用力值大于安全环境作用力阈值，则停止操作，以保护所述主驾驶人员和/或驾驶舱环境。

其中，关节力感知传感器用于对机器人的关节作用力值进行检测，由于力的作用是相互的，机器人的关节若与主驾驶人员或者驾驶舱环境发生接触，则相应的，接触的主驾驶人员或者驾驶舱环境也要承受机器人的关节作用力，则会对主驾驶人员以及驾驶舱环境造成伤害。

在机器人上设置关节力感知传感器，检测机器人在操作过程中主驾驶人员和/或驾驶舱环境对副驾驶机器人的环境作用力值，若环境作用力值大于安全环境作用力阈值，则停止操作。安全环境作用力阈值以保护主驾驶人员或驾驶舱环境为设置依据，可以通过经验进行确定。通过关节力感知传感器的设置提高了机器人处于驾驶舱环境中时，与驾驶舱环境保证安全共融，提高飞机运行的安全性。

本发明实施例基于标准飞行流程确定机器人的目标操作对象，实现了机器人的灵活决策，并且通过三种控制模式的切换实现对目标操作对象的整体操作流程，保证了机器人在运动过程中与驾驶人员的配合，以及对驾驶人员的保护，同时提高了对操作对象执行的准确性以及对操作对象的保护，从而提高操作对象的使用寿命。本发明通过机器人与驾驶人员的协同操作满足了对人机共驾模式下安全性的提升和执行效率的提高，同时减轻驾驶人员的工作负荷，满足未来民航智能飞行对驾驶舱综合自动化能力提升的需求。机器人在面对飞机流程跳转事件时的自主处理决策能力，提升机组整体的运行效率。

实施例三

图3是本发明实施例三中的飞行驾驶装置的结构示意图，本实施例可适用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制的情况。如图3所示，该装置包括：

目标操作对象确定模块310，用于确定副驾驶机器人待操作的目标操作对象；

机器人粗移动模块320，用于控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

精准定位点确定模块330，用于控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

目标操作对象操作模块340，用于控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

本发明实施例基于在飞机驾驶舱环境下确定副驾驶机器人所需操作的目标操作对象，通过驾驶舱的深度图像实现对驾驶舱内控制面板区域的粗定位，并基于粗定位结果根据局部图像特征进行精准定位，实现了机器人对目标操作对象的精准移动以及操作，进而提高飞机驾驶的安全运行效率。满足在不改变驾驶舱现有布局的基础上，提供了面向驾驶舱多目标复杂环境约束下提升民航运行智能化程度和机组运行效率的设计方法。

可选的，所述装置还包括三维建模模块，具体用于：

根据全局图像采集器采集的驾驶舱的深度图像对驾驶舱进行三维建模，得到所述驾驶舱中控制面板区域的位置；其中，所述控制面板区域至少包括如下一项：顶控板、机器控制面板以及中央操控台；

根据所述控制面板区域的位置，以及所述控制面板区域中的候选操作对象与所述控制面板区域之间的相对位置，确定所述候选操作对象的粗定位点。

可选的，所述装置还包括避障模块，具体用于：

若根据所述驾驶舱的深度图像检测到障碍物进入所述副驾驶机器人的工作区域，则根据所述驾驶舱的深度图像对所述障碍物进行三维建模，得到所述障碍物的运动趋势；

根据所述障碍物的运动趋势，控制所述副驾驶机器人避障。

可选的，所述副驾驶机器人还设置有末端力感知传感器；相应地，目标操作对象操作模块340，还包括末端力感知单元，具体用于：

通过所述末端力感知传感器检测所述副驾驶机器人对所述目标操作对象的操作作用力值；

对所述操作作用力值进行调节，使所述操作作用力值小于安全操作作用力阈值。

可选的，所述副驾驶机器人还设置有关节力感知传感器；相应地，所述装置还包括关节力感知模块，具体用于：

通过所述关节力感知传感器检测主驾驶人员和/或驾驶舱环境对所述副驾驶机器人的环境作用力值；

若所述环境作用力值大于安全环境作用力阈值，则停止操作，以保护所述主驾驶人员和/或驾驶舱环境。

可选的，机器人粗移动模块320，具体用于：

采用阻抗控制模式，控制所述副驾驶机器人移动至所述目标操作对象的粗定位点。

可选的，精准定位点确定模块330，具体用于：

采用视觉伺服控制模式，控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据所述局部图像确定所述目标操作对象的精准定位点。

可选的，目标操作对象操作模块340，具体用于：

采用力位混合伺服控制模式，控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

可选的，目标操作对象确定模块310，包括：

飞行状态获取单元，用于在处于人机共驾模式过程中，获取驾驶舱的飞行状态；

目标操作对象确定单元，用于根据所述驾驶舱的飞行状态，以及预设的标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

可选的，所述标准飞行流程包括至少两个候选操作对象，所述候选操作对象的执行顺序和执行方式信息，所述候选操作对象的执行方式信息用于确定所述候选操作对象的执行者为所述副驾驶机器人还是主驾驶人员。

可选的，目标操作对象确定单元，包括：

若根据所述驾驶舱的飞行状态检测到主驾驶人员的飞行流程跳转事件，则确定所述主驾驶人员的当前操作对象；

根据所述当前操作对象和所述标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

本发明实施例所提供的飞行驾驶装置可执行本发明任意实施例所提供的飞行驾驶方法，具备执行飞行驾驶方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四中的飞行驾驶系统的结构示意图，本实施例可适用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制的情况。如图4所示，该系统包括：感知模块、信息融合模块、运动合成模块以及人机交互模块。

感知模块包括全局感知模块、局部感知模块和机器人系统自感知模块。

全局感知模块主要包括驾驶舱面板布局标定模块与动态障碍物识别检测模块，通过安装在驾驶舱顶部的全局RGB深度相机，在起飞前准备阶段，指令识别驾驶舱空间深度信息，生成对象面板三维点云数据，构建驾驶舱顶控板、遮光罩MCP板、中央操控台等主要功能操作区域相对于执行机构基坐标的相对位置数据，感知覆盖场景功能区域的空间位置关系，实现机器人副驾驶空间粗略试教位置(视觉检测引导模块初始位置输入)的自动捕获。同时，全局RGB深度相机通过对结构化外的深度图像进行识别捕获，采集实时运动的障碍物点云数据，根据机器人副驾驶当前位姿状态，生成机器人副驾驶的下一步运动控制策略。

局部感知模块主要包括视觉检测引导模块和力感知模块，视觉检测引导模块提供机器人副驾驶对驾驶舱操作对象的视觉伺服引导功能，通过对目标对象采集图像信息的深度学习训练，特征匹配算法识别，获取操作对象相对于机器人末端夹具TCP的相对位置信息，生成基于X-Y-Z三轴的相对位置运动参数。力感知模块由末端力传感器，关节力传感器和力控制软件模块组成，提供机器人副驾驶末端机构与驾驶舱操作对象的接触力感知能力，实现精准力反馈的在线调节。

机器人副驾驶系统自感知模块由系统健康监测与告警模块、虚拟墙保护/碰撞保护模块组成。系统健康监测与告警模块主要负责整个系统的健康状态监测，并通过人工智能大数据分析功能建立系统模型，实现系统的管理和维护工作。具体功能包括：数据存储/备份、可视化信息管理、检维修管理、检维修管理决策、安全风险预测、全生命周期管理、大数据云平台。虚拟墙保护/碰撞保护模块主要负责实现机器人副驾驶对人和外界环境的保护，当机器人副驾驶运动到虚拟墙的边界时，会自主的规划减速、停止，防止机器人副驾驶运动超出预设边界。同时系统具备的防碰撞保护功能模块，当发生碰撞时候，机器人副驾驶关节力反馈的数值超过设定边界时，按照需求调整机器人副驾驶进入到安全模式，当碰撞力消失后间隔时间再继续完成当前任务。可通过调整碰撞保护阈值的大小，实现碰撞保护灵敏度的调整。

信息融合模块提供多种通信接口与数据处理、信息融合能力，实现多对象联合控制与调度能力，处理来自外部智能飞行辅助决策系统任务指令、全局环境感知模块、局部环境感知模块、机器人副驾驶系统自感知模块得到的全局/局部视觉数据信息、力感知信息、运动保护信息等，对生成结果进行数据处理与融合，为机器人的运动合成模块提供信息输入能力。

运动合成模块为机组自动化系统提供运动规划计算能力，以信息融合处理模块输出结果为输入，综合考虑机组自动化系统本体的位置环/速度环/力矩环约束，开展驾驶舱内的自动化系统运动轨迹规划计算，形成合理可行的空间运动轨迹优化与障碍物规避能力，满足机组自动化装置在驾驶舱内操作的精准、安全性需求。

基于对标准飞行流程和突发操作的分析辨识，对驾驶舱范围内的人机操作功能进行划分，以流程操作的安全可靠性和机器人执行运行能力约束为依据，对全流程下的相关操作进行分配，同时设计合理可行的人机交互接口和媒介。满足交互行为的便捷性和效率最大化。

飞行驾驶系统的设计具备多种模式选择，既可以独立完成从起飞到降落的全飞行流程执行，也可以充当副驾驶员的角色配合飞行员完成相关的飞行指令操作，即自动驾驶模式和人机共驾模式两种。

自动驾驶模式包括：全飞行流程自动驾驶情形(飞行员监控，机组自动化系统驾驶)、紧急情况自动驾驶接管情形(飞行员驾驶时突发如失能等紧急状况，由机组自动化系统接管飞机驾驶权)。人机共驾模式：基于全飞行流程，驾驶舱环境下人-机功能的划分和定义，有飞行员和机组自动化系统协同配合完成所有飞行操作。其中，自动驾驶模式和人机共驾模式可以由飞行员或自动化系统根据实际飞行场景、飞行状态、驾驶舱环境、应急突发事件等情况自主切换。

本发明实施例提供了人机共驾系统架构，模式选择及功能定义，提升了人机共驾系统运行安全效率。面向驾驶舱多目标复杂环境约束下提升民航运行智能化程度和机组运行效率的系统，详述了以非侵入方式安装在驾驶舱内部的人机共同驾驶系统的总体设计、功能定义与接口数据关系，满足在不改变驾驶舱现有布局的基础上，人机功能分配和人机交互策略研究内容，属于智能飞行系统领域。

实施例五

图5是本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的飞行驾驶方法，包括：

确定副驾驶机器人待操作的目标操作对象；

控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的飞行驾驶方法，包括：

确定副驾驶机器人待操作的目标操作对象；

控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种飞行驾驶方法，其特征在于，所述方法用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制，所述方法包括：

确定副驾驶机器人待操作的目标操作对象；

控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

2.根据权利要求1所述的方法，其特征在于，控制所述副驾驶机器人移动至所述目标操作对象的粗定位点之前，还包括：

根据全局图像采集器采集的驾驶舱的深度图像对驾驶舱进行三维建模，得到所述驾驶舱中控制面板区域的位置；其中，所述控制面板区域至少包括如下一项：顶控板、机器控制面板以及中央操控台；

根据所述控制面板区域的位置，以及所述控制面板区域中的候选操作对象与所述控制面板区域之间的相对位置，确定所述候选操作对象的粗定位点。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若根据所述驾驶舱的深度图像检测到障碍物进入所述副驾驶机器人的工作区域，则根据所述驾驶舱的深度图像对所述障碍物进行三维建模，得到所述障碍物的运动趋势；

根据所述障碍物的运动趋势，控制所述副驾驶机器人避障。

4.根据权利要求1所述的方法，其特征在于，所述副驾驶机器人还设置有末端力感知传感器；相应地，在控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象过程中，还包括：

通过所述末端力感知传感器检测所述副驾驶机器人对所述目标操作对象的操作作用力值；

对所述操作作用力值进行调节，使所述操作作用力值小于安全操作作用力阈值。

5.根据权利要求1所述的方法，其特征在于，所述副驾驶机器人还设置有关节力感知传感器；相应地，所述方法还包括：

通过所述关节力感知传感器检测主驾驶人员和/或驾驶舱环境对所述副驾驶机器人的环境作用力值；

若所述环境作用力值大于安全环境作用力阈值，则停止操作，以保护所述主驾驶人员和/或驾驶舱环境。

6.根据权利要求1所述的方法，其特征在于，

采用阻抗控制模式，控制所述副驾驶机器人移动至所述目标操作对象的粗定位点；

采用视觉伺服控制模式，控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据所述局部图像确定所述目标操作对象的精准定位点；

采用力位混合伺服控制模式，控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

7.根据权利要求1-6中任一项所述的方法，其特征在于，确定副驾驶机器人待操作的目标操作对象，包括：

在处于人机共驾模式过程中，获取驾驶舱的飞行状态；

根据所述驾驶舱的飞行状态，以及预设的标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

8.根据权利要求7所述的方法，其特征在于，所述标准飞行流程包括至少两个候选操作对象，所述候选操作对象的执行顺序和执行方式信息，所述候选操作对象的执行方式信息用于确定所述候选操作对象的执行者为所述副驾驶机器人还是主驾驶人员。

9.根据权利要求7所述的方法，其特征在于，根据所述驾驶舱的飞行状态，以及预设的标准飞行流程，确定副驾驶机器人待操作的目标操作对象，包括：

若根据所述驾驶舱的飞行状态检测到主驾驶人员的飞行流程跳转事件，则确定所述主驾驶人员的当前操作对象；

根据所述当前操作对象和所述标准飞行流程，确定副驾驶机器人待操作的目标操作对象。

10.一种飞行驾驶装置，其特征在于，所述装置用于在飞机驾驶舱环境下由唯一主驾驶人员与副驾驶机器人配合对飞机进行控制，所述装置包括：

目标操作对象确定模块，用于确定副驾驶机器人待操作的目标操作对象；

机器人粗移动模块，用于控制所述副驾驶机器人移动至所述目标操作对象所在控制面板区域的粗定位点；其中，所述目标操作对象的粗定位点根据全局图像采集器采集的驾驶舱的深度图像确定；

精准定位点确定模块，用于控制所述副驾驶机器人上局部图像采集器在所述粗定位点处采集局部图像，并根据局部图像特征确定所述目标操作对象的精准定位点；

目标操作对象操作模块，用于控制所述副驾驶机器人根据所述目标操作对象的精准定位点，操作所述目标操作对象。

11.一种设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的飞行驾驶方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的飞行驾驶方法。

Images