CN113703485B - 机载智能眼镜设备及基于该设备的飞机控制方法 - Google Patents

Abstract

本发明公开了一种机载智能眼镜设备，其包括摄像头和智能眼镜，智能眼镜包括控制部件和电子成像眼镜片，控制部件与电子成像眼镜片、摄像头交互连接；控制部件根据摄像头拍摄到的飞行监控画面结合知识图谱对监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至电子成像眼镜片上进行信息展示。本发明设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像头及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。

Description

机载智能眼镜设备及基于该设备的飞机控制方法

技术领域

本发明涉及飞机设备技术领域，尤其涉及一种机载智能眼镜设备及基于该设备的飞机控制方法。

背景技术

飞行员在飞行过程中，需要同时监控机舱内几十种仪表，并根据仪表数据和塔台给出的信息进行任务执行。由于飞机上仪表非常多，在执行一些较复杂任务的过程中，需要飞行员对仪表盘中的信息有非常高的判断能力和执行能力，如无法第一时间预判问题，或出现问题没有第一时间执行正确操作，将会对飞行任务产生重大影响。

目前在战斗机的实际飞行操作中，异常情况的处理完全由飞行员基于经验进行操作，缺乏系统的智能化支持，且在紧急情况下，飞行员在仓内行动受限，双手无法离开操纵杆，不能去执行较为丰富的指令。

发明内容

针对上述现有技术中存着的不足之处，本发明提出了一种机载智能眼镜设备及基于该设备的飞机控制方法，可以辅助飞行员进行飞机控制，降低飞行员的操作难度，让飞行更加安全。

本发明实施例提供一种机载智能眼镜设备，所述设备包括摄像头和智能眼镜，所述智能眼镜包括控制部件和电子成像眼镜片，所述控制部件与所述电子成像眼镜片、所述摄像头交互连接；所述控制部件根据所述摄像头拍摄到的飞行监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示。

可选的，所述控制部件包括图像识别模块、知识图谱分析模块和信息输出模块，所述图像识别模块用于对所述监控画面进行信息识别，所述知识图谱分析模块用于判断所述图像识别模块识别到的信息是否包含异常情况，所述信息输出模块用于输出所述知识图谱分析模块的判断结果信息。

可选的，所述控制部件还包括规则引擎模块，预设有匹配不同异常情况的处理方案，用于在出现所述异常情况时匹配得到应对的处理方案，并将所述处理方案输出至所述电子成像眼镜片上进行方案显示。

可选的，所述控制部件与飞机控制系统交互连接，所述控制部件还用于识别所述监控画面中的手势指令，并对所述飞机控制系统发出所述手势指令。

可选的，所述智能眼镜上还设有声音收集与处理装置，与飞机控制系统交互连接，用于收集飞行员的声音指令，处理后发送至所述飞机控制系统。

可选的，所述声音收集与处理装置包括麦克风、ASR模块和NLU模块，所述麦克风用于收集飞行员的声音指令，所述ASR模块和NLU模块分别用于对所述声音指令进行转写和指令理解。

可选的，所述摄像头的数量为多个，分别设于所述智能眼镜和飞机上。

本发明实施例提供一种基于上述机载智能眼镜设备的飞机控制方法，所述方法包括：

飞行员佩戴所述智能眼镜执行飞行任务；

开启所述智能眼镜，利用所述摄像头实时拍摄飞行监控画面；

所述控制构件根据所述摄像头拍摄到的监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示，供飞行员控制飞机执行飞行任务。

可选的，当所述知识图谱分析到异常情况时，所述控制构件针对分析结果给出建议的处理方案并输出至所述电子成像眼镜片上进行方案显示。

可选的，飞行员控制飞机执行飞行任务的方式至少包括以下方式中的一种：手势识别、语音控制、眼神跟踪。

本发明提出一种机载智能眼镜设备及基于该设备的飞机控制方法，该设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像头及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中基于机载智能眼镜设备的飞机控制方法的控制原理图。

图2为本发明一实施例中智能眼镜的模块框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1和图2，在本发明提供的一实施例中，提供了一种机载智能眼镜设备，设备包括摄像头1和智能眼镜2，智能眼镜2进一步包括控制部件21和电子成像眼镜片22，控制部件21与电子成像眼镜片22、摄像头1交互连接。该控制部件21根据摄像头1拍摄到的飞行监控画面结合知识图谱对监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至电子成像眼镜片22上进行信息展示。该机载智能眼镜设备可以辅助飞行员进行飞机控制，降低飞行员的操作难度，让飞行更加安全。

此外，该智能眼镜2还可包括眼镜架、用于装载控制部件21的小型电脑、总控开关、电源接口(或充电模块)、数据传输接口等。其中，电子成像眼镜片22安装在眼镜架的前端，电子成像眼镜片22可采用LED透明显示屏(类似谷歌眼镜的产品)，一方面可以进行信息显示，另一方面也不会阻挡飞行员的视线。

摄像头1可采用微型摄像头，设置在智能眼镜2上，如在智能眼镜的电子成像眼镜片22所在侧的眼镜架的左右两端及中间位置分别设置一个摄像头1；微型摄像头也可以设置在飞机的驾驶舱内，对准仪表盘或对准驾驶舱外。在智能眼镜2的总控开关开启后，利用该些微型摄像头对仪表盘以及飞行过程中驾驶舱外的图像进行实施拍摄监控，得到飞机飞行过程中的监控画面。

控制部件21具体可包括图像识别模块211、知识图谱分析模块212和信息输出模块213。图像识别模块211与摄像头1交互连接，图像识别模块211采用图像识别技术，用于对摄像头1实时拍摄的监控画面进行信息识别；知识图谱分析模块212与图像识别模块21连接，知识图谱分析模块212采用知识图谱技术，利用预先搭建的飞机专业领域知识图谱，对监控画面中出现的异常物体、仪表盘异常数据等进行自主信息分析，并生成分析结果；信息输出模块213与知识图谱分析模块212、电子成像眼镜片22交互连接，用于输出知识图谱分析模块的分析结果信息，飞行员可以在电子成像眼镜片22上看到显示的分析结果信息，依据该分析结果信息，第一时间准确判断异常情况和异常情况发生位置，辅助执行飞行任务。

较佳地，控制部件21还包括规则引擎模块214，该规则引擎模块214与知识图谱分析模块212、信息输出模块213交互连接，该规则引擎模块214采用规则引擎技术，预设有匹配不同异常情况的处理方案，用于在知识图谱分析模块212判断出现异常情况时，针对知识图谱分析模块212的缝隙结果，在预存的处理方案中匹配得到最优的处理方案建议，并通过信息输出模块213将该处理方案输出至电子成像眼镜片22上进行方案显示。飞行员在电子成像眼镜片22上看到该方案信息后，可以选择执行或不执行该建议的处理方案。

飞行员通过电子成像眼镜片22中展示的信息及建议处理方案后，如确定想要执行，可利用手势发出确认指令，控制部件21与飞机控制系统3交互连接，如图1所示，当控制部件21中的图像识别模块211识别到摄像头1拍摄的监控画面中存在飞行员的手势指令(通过与预存在特定手势进行比对，当符合时认定为：识别到手势指令)后，向飞机控制系统3发出确认指令以及当前电子成像眼镜片2中展示的建议处理方案，飞机控制系统3执行该建议处理方案。

上述实施例中是直接采用摄像头1识别飞行员的手势指令，在一些情况下，也可以采用现有的手势识别专用的传感器，如TMG399，该产品是非接触式光学IR手势识别传感器，配备有手势识别、环境光检测、接近感知和颜色感知的四合一传感器模块；MGC3130，微芯科技推出的3D手势识别芯片，在其电场的作用下，无需接触就能感应手势，能够在15cm的距离以内按150dpi的高精度确定坐标位置。

在另一些实施例中，还可以在智能眼镜上搭载眼动追踪装置，采用眼动追踪方式，对眼睛的注视点或者是眼镜相对于头部的运动状态进行测量的过程，谷歌眼镜能够通过眼动跟踪技术感知到用户的情绪，来判断用户对注视的广告的反应。眼动跟踪原理用于智能眼镜的眼动跟踪测量技术主要是基于图像和视频测量法，该方法囊括了多种测量可区分眼动特征的技术，这些特征有巩膜和虹膜的异色边沿、角膜反射的光强以及瞳孔的外观形状等。基于图像、结合瞳孔形状变化以及角膜反射的方法在测量用户视线的关注点中应用很广泛。

另外，为方便飞行员控制飞机，还可以采用语音控制方式来协助飞行员控制飞机执行飞行任务。在本实施例中，在智能眼镜2上设置有声音收集与处理装置23，该声音收集与处理装置23与飞机控制系统3交互连接，用于收集飞行员的声音指令，处理后发送至飞机控制系统3，直接通过飞行员的语音指令，来控制飞机执行对应的飞行任务。

该声音收集与处理装置23可包括麦克风、ASR模块和NLU模块，麦克风装设在智能眼镜2上，用于收集飞行员的声音指令，ASR(Automatic Speech Recognition，自动语音识别技术)是一种将人的语音转换为文本的技术，利用ASR模块对声音指令进行转写，并送入NLU模块进行指令理解，NLU(Natural Language Understanding，自然语言理解)，是使计算机具有理解和运用自然语言的功能。理解完毕后可对飞机控制系统3发出对应指令。

该声音收集与处理装置23可以单独控制飞机控制系统3，也可以代替上述实施例中摄像头1的手势识别功能，即改用语音控制的方式，此时，声音收集与处理装置23与控制构件21交互连接，飞行员通过语音确认执行电子成像眼镜片22上展示的处理方案建议后，将该处理方案传输至飞机控制系统3，执行该处理方案。

本实施例的机载智能眼镜设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像机及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。

较佳地，本实施例的机载智能眼镜设备中的摄像头可采用嵌入式微型摄像头，麦克风加载SSP降噪算法，知识图谱分析模块212采用飞行知识等专业领域知识图谱，辅助飞行员对信息进行分析，并利用多模态控制飞机。

本实施例还提供了一种基于上述机载智能眼镜设备的飞机控制方法，该控制方法主要包括以下步骤：

第一步：飞行员执行飞行任务时需要佩戴智能眼镜；

第二步：智能眼镜开启后，可利用微型摄像头对仪表盘以及飞行过程中驾驶舱外的图像进行实施拍摄监控；

第三步：利用设备搭载的专业领域知识图谱，可对监控画面中出现的异常物体、仪表盘异常数据等进行自主信息分析，并生成分析结果。如出现紧急问题，同时可针对分析结果，给出建议的处理方案；

第四步：知识图谱给出的信息，可展示在电子成像眼镜片上，飞行员无需通过其他设备，在眼镜片上即可看到信息

第五步：飞行员通过眼睛片中展示的信息及建议处理方案后，如确定想要执行，可利用手势发出确认指令。智能眼镜通过摄像头拍摄到手势指令后，会将指令发送到飞机控制系统。

第六步：飞行员也可以直接说出指令，智能眼镜上搭载了麦克风，收集到声音后进行处理，并利用ASR进行转写，并送入NLU进行指令理解。理解完毕后可对飞机控制系统发出对应指令。

下面针对本发明实施例中的知识图谱的功能和操作步骤，进一步介绍如下：

1.摄像头拍摄成像

2.图像内容被提取

3.图像文字内容被NLP技术(Natural Language Processing，自然语言处理，是使用自然语言同计算机进行通讯的技术)进行语义理解，图形相关内容根据图像识别实际进行识别；

4.将识别到的内容结合知识图谱进行比对，得出相关结论；

5.情况正常则不进行预警；情况异常则进行后续预警等操作(即由电子成像眼镜片显示异常信息)。

举例说明文字类信息：比如仪表盘有飞行高度的指标，且是文字显示，摄像头成像后，提取文字信息进行NLP理解，并将理解的内容通过知识图谱，判断该信息是否符合正常情况，符合(或不符合)进行后续动作。

举例说明图像类信息：比如仪表盘就上下左右四个灯光，正常情况下灯光都是绿色，摄像头拍摄图像后，根据图像识别技术，识别到了相关信息(比如该位置有四个按钮，分别是什么颜色等)，将信息送入知识图谱，由知识图谱进行理解判断。知识图谱中如果判断该灯光都应该是绿色，出现红色视为异常，则会输出异常指令，进行后续预警等动作。

本发明中未涉及部分均与现有技术相同或可采用现有技术加以实现。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种机载智能眼镜设备，其特征在于，包括摄像头和智能眼镜，所述智能眼镜包括控制部件和电子成像眼镜片，所述控制部件与所述电子成像眼镜片、所述摄像头交互连接；所述控制部件根据所述摄像头拍摄到的飞行监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示；

所述控制部件包括图像识别模块、知识图谱分析模块和信息输出模块，所述图像识别模块用于对所述监控画面进行信息识别，所述知识图谱分析模块用于判断所述图像识别模块识别到的信息是否包含异常情况，所述信息输出模块用于输出所述知识图谱分析模块的判断结果信息；

所述控制部件还包括规则引擎模块，预设有匹配不同异常情况的处理方案，用于在出现所述异常情况时匹配得到应对的处理方案，并将所述处理方案输出至所述电子成像眼镜片上进行方案显示；

所述控制部件与飞机控制系统交互连接，所述控制部件还用于识别所述监控画面中的手势指令，并对所述飞机控制系统发出所述手势指令；

飞行员佩戴所述智能眼镜执行飞行任务；

开启所述智能眼镜，利用所述摄像头实时拍摄飞行监控画面；

所述控制部件根据所述摄像头拍摄到的监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示，供飞行员控制飞机执行飞行任务；

当所述知识图谱分析到异常情况时，所述控制部件针对分析结果给出建议的处理方案并输出至所述电子成像眼镜片上进行方案显示；

飞行员控制飞机执行飞行任务的方式至少包括以下方式中的一种：手势识别、语音控制、眼神跟踪；

摄像头采用微型摄像头，设置在智能眼镜上，或设置在飞机的驾驶舱内，对准仪表盘或对准驾驶舱外；在智能眼镜的总控开关开启后，利用微型摄像头对仪表盘以及飞行过程中驾驶舱外的图像进行实施拍摄监控，得到飞机飞行过程中的监控画面。

2.如权利要求1所述的机载智能眼镜设备，其特征在于，所述智能眼镜上还设有声音收集与处理装置，与飞机控制系统交互连接，用于收集飞行员的声音指令，处理后发送至所述飞机控制系统。

3.如权利要求2所述的机载智能眼镜设备，其特征在于，所述声音收集与处理装置包括麦克风、ASR模块和NLU模块，所述麦克风用于收集飞行员的声音指令，所述ASR模块和NLU模块分别用于对所述声音指令进行转写和指令理解。

4.如权利要求1所述的机载智能眼镜设备，其特征在于，所述摄像头的数量为多个，分别设于所述智能眼镜和飞机上。