CN115083229A - 基于ai视觉识别的飞行训练设备智能识别与警示系统 - Google Patents

Abstract

本发明属于飞行训练设备、计算机视觉识别技术领域，具体涉及一种基于AI视觉识别的飞行训练设备智能识别与警示系统，旨在解决飞行训练设备智能识别与警示系统数据来源单一、不能实现本地部署的AI算法、导致人体行为、设备运行状态识别精度差、效率低的问题。本系统包括：视频采集设备，配置为采集影像数据；数据分类单元，配置为将影像数据分类；异常行为识别单元，配置为判断人体的行为是否异常；设备异常感知单元，配置为判断设备的运行是否异常；场景翻译与人机交互单元，配置为基于场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果。本发明提升了人体行为、设备运行状态识别精度以及效率。

Description

基于AI视觉识别的飞行训练设备智能识别与警示系统

技术领域

本发明属于飞行训练设备、计算机视觉识别技术领域，具体涉及一种基于AI视觉识别的飞行训练设备智能识别与警示系统。

背景技术

飞行训练设备（即飞行模拟机、全动模拟机）作为飞行员培训和相应科目考试的主要设备，运行过程中，如果出现异常，对训练效果会有较大影响，同时也会影响训练进度；为保证飞行训练设备运行质量，现场维护工程师需要对飞行训练设备各系统的运行状态进行密切关注和掌握。以往，现场工程师会定时定点以巡检的方式进行检查和记录，但由于飞行训练设备系统庞杂，有驾驶舱航电系统、计算机系统、液压运动系统、视景系统等多个子系统。这种人力巡检的方式存在着费力耗时、效率低下且疏漏较大的问题。

随机技术的发展，出现了各种各样的模拟机在线监控系统，但还存在如下缺陷：

1）通过传感器的形式监控飞行训练器的静态数据，主要是对于设备的状态信息进行监控，例如温度，湿度，烟雾等参数。但是由于传感器的数据量采集少，不能实现对模拟机内运动的场景进行监控；

2）监控的信息没有通过后台大数据AI处理，数据量大，数据来源单一；

3）数据部署在阿里云，需要使用阿里云的接口协议进行编辑，不能实现本地部署的AI算法分析；

基于此，本发明提出了一种基于AI视觉识别的飞行训练设备智能识别与警示系统。

发明内容

为了解决现有技术中的上述问题，即为了解决现有飞行训练设备智能识别与警示系统数据来源单一、不能实现本地部署的AI算法、导致人体行为、设备运行状态识别精度差、效率低的问题，本发明第一方面，提出了一种基于AI视觉识别的飞行训练设备智能识别与警示系统，该系统包括：视频采集设备、远程服务器；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；

所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；

所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；

所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；

基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征；

基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；

所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；

所述场景翻译与人机交互单元，配置为基于深度学习神经网络构建的场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员；还配置为当存在异常的行为或设备运行异常时，进行警报提示；

其中，所述人体信息数据库包含人体前景特征对应的多个标准摘要数据；所述标准摘要数据为基于包含人体的影像数据获取人体对应的前景特征，并通过摘要算法处理后得到的摘要数据；

所述行为数据库包含预设的人体身份信息与预设的行为的映射关系；

所述前景特征提取模型基于卷积神经网络、行分类器构建；

所述行为识别模型基于特征提取模型、分类器构建；所述二维特征提取模型包括三维卷积神经网络、双流卷积神经网络、深度卷积神经网络；所述场景翻译模型基于依次连接的多层感知机、基于注意力机制的长短期记忆人工神经网络构建。

在一些优选的实施方式中，所述远程服务器还包括管理单元；

所述管理单元，配置为查看飞行训练设备的状态、控制是否接收边缘节点传输给远程服务器的数据；还配置为对飞行训练设备驾驶舱的摄像头和麦克风管理、设置抽帧功能、配置AI技能、控制业务节点智能分析需要警示的事件以及进行终端警示。

在一些优选的实施方式中，所述远程服务器通过组播方式发送和接收数据，具体为：

首先调用socket()函数创建一个Socket套接字，然后定义一个sockaddr_in结构体，并设置结构体里面的成员变量，所述成员变量包括通信协议、IP地址和端口；

接收端调用bind()函数用于绑定监听端口，然后定义一个ip_mreq结构体并设置组播地址用于加入组播组，调用setsockopt()设置组播参数，最后调用send()和read()函数分别用于发送和接收数据。

在一些优选的实施方式中，通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合，其方法为：

通过卷积神经网络提取包含人体的影像数据的特征，作为第一特征；

基于所述第一特征，通过行分类器分别获取包含人体的影像数据中人体对应的前景特征作为第二特征，包括：

通过所述行分类器获取包含人体的影像数据中各像素点对人体各个部位的置信度；

将置信度大于第一设定阈值的像素点作为前景像素，将置信度小于第二设定阈值的像素点作为背景像素；

基于提取的前景像素构建的特征作为所述输入图像中行人对应的前景特征。

在一些优选的实施方式中，通过摘要算法获取摘要数据的方法为：

将获取的前景特征数据，按照预设的分级原则获取对应的分级信息；

将获得的分级信息通过摘要算法处理得到特征信息摘要数据；

根据预设人脸特征类别编码表，获取对应前景特征数据的特征类别编码；

将所述特征类别编码与所述特征信息摘要数据串接得到对应前景特征数据的摘要数据。

在一些优选的实施方式中，基于所述包含设备的影像数据，判断设备的运行是否异常，其方法为：

获取包含设备的影像数据；

对所述包含设备的影像数据中的各图像进行阴影去除处理，得到预处理后的包含设备的影像数据；

基于所述预处理后的包含设备的影像数据，通过背景差分法生成背景图像，并计算当前帧图像与所述背景图像的差值，差值大于设定阈值的像素区域为设备目标区域，差值小于设定阈值的像素区域为背景区域；

提取所述设备目标区域的特征，并与预构建的设备信息数据库中的设备特征进行匹配，若匹配不一致，则设备运行存在异常。

在一些优选的实施方式中，基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果，其方法为：

获取所述包含人体的影像数据；

对所述包含人体的影像数据中的各图像进行阴影去除处理，得到预处理后的包含设备的影像数据；

分别提取所述预处理后的包含人体的影像数据中的二维影像数据的特征、三维影像数据的特征，得到二维特征、三维特征；所述二维特征包括时空特征、外观与运动特征、运动轨迹特征；所述三维特征包括深度信息特征、人体骨骼信息特征；

将所述二维特征、所述三维特征进行融合，融合后输入预构建的分类器，得到人体行为的分类结果，即人体的行为识别结果。

在一些优选的实施方式中，所述行为识别模型，其训练方法为：

步骤A10，获取训练样本数据，构建训练集；所述训练样本数据包括包含人体的影像数据及影像数据中各人体行为的识别结果的真值标签；步骤A20，获取训练样本数据中各人体行为对应的概率分布，并选取概率分布最小的两个人体行为进行合并，合并后输入预构建的行为识别模型，得到人体行为对应的预测识别结果，作为第一结果；

步骤A30，基于所述第一结果，结合影像数据中各人体行为的识别结果的真值标签，计算损失值，更新所述行为识别模型的模型参数；

所述损失值，其计算方法为：

其中，

表示行为识别模型其在训练过程中的损失值，

、

表示人体行为对 应的预测识别结果、影像数据中各人体行为的识别结果的真值标签，

表示行为识别模型 的输入，

表示行为识别模型的权重，

表示Mask函数值。

步骤A40，循环步骤A20-A30，直至达到设定的训练次数，进而得到训练好的行为识别模型。

在一些优选的实施方式中，基于预构建的场景翻译模型，获取当前飞行训练设备模拟舱内场景的基本状态描述，其方法为：

获取待基本状态描述的影像数据序列，作为输入序列；

提取所述输入序列对应的特征表示；

通过所述场景翻译模型中的多层感知机得到各特征表示对应的语义属性向量；

基于所述语义属性向量，通过所述场景翻译模型中基于注意力机制的长短期记忆人工神经网络得到所述基本状态描述的视频帧序列对应的描述语句。

在一些优选的实施方式中，所述场景翻译模型中的多层感知机其在训练过程中的损失函数，其构建方法为：

其中，

表示场景翻译模型中的多层感知机其在训练过程中的损失函数 值，

表示训练数据集中描述语句的数量，

表示多层感知机输出的预测语义属性向量标 签的维度，

表示多层感知机的输入，

、

表示正则化参数，

、

分别表示多层 感知机输出的预测语义属性向量标签、真实的语义属性向量标签,

、

分别表示多层感 知机输出的前景特征对应的预测语义属性向量标签、前景特征对应的真实的语义属性向量 标签，

、

分别表示多层感知机输出背景特征对应的预测语义属性向量标签、背景特征 对应的真实的语义属性向量标签，

表示下标，

、

为预设的权重，

为多层感知机所 有的权重矩阵和偏置矩阵参数的集合。

本发明的有益效果：

本发明提升了人体行为、设备运行状态识别精度以及效率，能够方便维护人员监控飞行训练设备运行状态，提高工作效率以及飞行训练设备的可靠性。

1）本发明采用智能视频分析技术（Intelligent Visual Surveillance），即计算机图像视觉技术，是综合利用多学科研究成果，借助其硬件的强大处理能力，通过分析和预先设定各种行为模式编成核心算法，对前端实时采集的视频流进行对比分析和提取，只要监测到与算法中设定的规则相一致的行为或情况发生时，自动向监控系统提示分析结果，并根据不同情况采取相应处理措施，能够方便维护人员监控飞行训练设备运行状态，提高工作效率以及飞行训练设备的可靠性。

2）通过AI大数据分析实现，跟踪比对飞行员的训练行为，对训练过程中的人员异常情况进行提示，非法人员闯入模拟机驾驶舱提示，分析机组训练时模拟机设备的异常情况等，以实现对民航客机驾驶舱内的异常情况分析，实现对民航客机飞行员的安全心理健康辅助跟踪。而且，该技术在飞行训练设备上成熟运用后可以通过市场推广应用到应用于其他飞行训练中心；机场隔离区；飞机维修厂等。

3）相比于传统的人体识别方法，摘要算法中更改一个特征数据，得到的摘要数据完全不同，因此识别结果更为精确。进一步地，由于摘要算法的计算基本是不可逆的，因此可以根据算出来的摘要反推原有特征数据，可以保护数据及隐私。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的基于AI视觉识别的飞行训练设备智能识别与警示系统的框架示意图；

图2是本发明一种实施例的算法模型的示例图；

图3是本发明一种实施例的人体异常行为识别过程的流程示意图；

图4是本发明一种实施例的设备异常感知过程的流程示意图；

图5是本发明一种实施例的基于AI视觉识别的飞行训练设备智能识别与警示系统的简略框架示意图；

图6是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的基于AI视觉识别的飞行训练设备智能识别与警示系统，该系统包括：视频采集设备、远程服务器；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；

所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；

所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；

所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；

基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征；

基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；

所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；

所述场景翻译与人机交互单元，配置为基于深度学习神经网络构建的场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员；还配置为当存在异常的行为或设备运行异常时，进行警报提示；

其中，所述人体信息数据库包含人体前景特征对应的多个标准摘要数据；所述标准摘要数据为基于包含人体的影像数据获取人体对应的前景特征，并通过摘要算法处理后得到的摘要数据；

所述行为数据库包含预设的人体身份信息与预设的行为的映射关系；

所述前景特征提取模型基于卷积神经网络、行分类器构建；

所述行为识别模型基于特征提取模型、分类器构建；所述二维特征提取模型包括三维卷积神经网络、双流卷积神经网络、深度卷积神经网络；所述场景翻译模型基于依次连接的多层感知机、基于注意力机制的长短期记忆人工神经网络构建。

为了更清晰地对本发明基于AI视觉识别的飞行训练设备智能识别与警示系统进行说明，下面结合附图对本发明系统一种实施例中各步骤进行展开详述。

本发明以基于计算机视觉技术为方向，通过外部设备采集图像、视频等信息，提取人体外观、行为特征，进行分类识别。外部图像、视频信息的获取方法，又可以具体分为基于二维和基于深度三维数据采集方法。基于二维数据采集方法主要基于普通的可见光摄像头，获取飞行员图像信息，包括着装外观、手指动作信息。然而飞行过程中，驾驶舱内的光照变化巨大且毫无规律。有时光照十分充足，有时只剩仪器指示灯的光照。因此，最近研究者提出基于深度三维数据采集方法，包括基于双目Kinect，主要获取飞行员的行为动作信息。最终实现一套基于AI视觉识别的飞行训练设备智能识别与警示系统。即本发明系统包括视频采集设备（即图1中的影像数据采集监控）、远程服务器（即图1中的业务节点和终端（即终端上的上的管理平台））；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；具体如下：

所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；

在本实施例中，飞行训练设备的舱内外通过不同的视频采集设备在不同检测点获取影像数据，实现二维图像和三维图像采集，即采集的影像数据包括二维影像数据、三维影像数据。视频采集设备主要包括驾驶舱IPC（IP Camera,2D摄像头）、3D摄像头、NVR（网络视频录像机）、便携热成像、AR眼镜，如图5所示。

所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；

在本实施例中，按照目标对象对各设定监测点采集的影像数据进行划分，主要分为两类，即判断影像数据中的图像中是否包括人体，分别得到包含人体的影像数据和包含设备的影像数据。

所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；

基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征；

基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；

在本实施例中，先通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合。其中，前景特征提取模型基于卷积神经网络、行分类器构建。因此，前景特征集合的提取过程为：

通过卷积神经网络提取包含人体的影像数据的特征，作为第一特征；

基于所述第一特征，通过行分类器分别获取包含人体的影像数据中人体对应的前景特征作为第二特征，包括：

通过所述行分类器获取包含人体的影像数据中各像素点对人体各个部位的置信度；

将置信度大于第一设定阈值的像素点作为前景像素，将置信度小于第二设定阈值的像素点作为背景像素；

基于提取的前景像素构建的特征作为所述输入图像中行人对应的前景特征。

然后，基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息，其中，人体信息数据库包含人体前景特征对应的多个标准摘要数据；标准摘要数据为基于包含人体的影像数据获取人体对应的前景特征，并通过摘要算法处理后得到的摘要数据；具体处理步骤如下：

S100，基于预设的匹配度阈值A%，获取匹配用特征条数⌈(100-A)%*S⌉；将所述比对摘要数据集作为第一数据集，将人体信息数据库作为第二数据集；

S101，将所述第一数据集中⌈(100-A)%*S⌉条数据与所述第二数据集进行匹配，并从所述第二数据集中删除匹配度低于第一阈值的样本数据；若所述第一数据集中数据条数小于⌈(100-A)%*S⌉，则将所述第一数据集中剩余数据与所述第二数据集进行匹配；

S102，基于S101的匹配结果，对所述第二数据集中保留的样本数据分别累加所匹配的条数；将已选择参与匹配的数据从所述第一数据集中删除，并执行S101，直至所述第一数据集为空；

S103，基于所述第一数据集种保留的样本数据累加得到的匹配的总条数，分别计算匹配度；

S104，选取匹配度最大的一个作为匹配成功的样本数据，输出该样本数据对应的人体身份信息。

在获取人体身份信息的同时，基于所述包含人体的影像数据，提取人体的多模态特征（包括二维特征、三维特征），将所述二维特征、所述三维特征进行融合，融合后输入预构建的行为识别模型（即图2中用于人体行为识别的AI算法模型）的分类器中，得到人体行为的分类结果，即人体的行为识别结果，最后，基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常。

所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征、深度信息特征、人体骨骼信息特征；时空特征、外观与运动特征、运动轨迹特征为二维特征；深度信息特征、人体骨骼信息特征为三维特征，如图3所示。行为识别模型的框架有四个重要的组成部分：前端处理模块、模型构建模块、解码器解码模块、后端处理和自学模块；其中，前端处理模块：配置为通过设计2D、3D多模态视频采集模块，获取飞行训练设备内飞行员二维/三维图像信息；模型构建模块：配置为建立飞行员行为识别种类和行为周期模型，其中，二维图像信息用于识别飞行员着装、操作手机，吃东西等行为以及分析操作周期，以及其用于检测设备仪器仪表状态；三维图像信息用于飞行员异常状态的识别，包括不合规行为和不正常健康状态发生等；解码器解码模块，采集的2D、3D多模态视频，通过解码器解码，输出需要的模型数据图片和缩帧小格式视频；后端处理和自学模块，在前端数据采集模块和解码模块基础上，使用智能分析预警模块，通过设计深度学习神经网络对飞行员的行为状态进行识别，由于输入网络数据为图片或视频，可以同时将行为周期以动作的发生和终止为参考。之后将识别结果以可视化报告的形式记录，并将文字记录转化成语言，反馈给飞行员和教员，实现一种预警功能。

而在多模态特征提取时，分为传统和深度学习两个方向。传统方法有基于人体外观和运动信息的特征提取方法, 此类方法将单个人体看作目标，提取运动人体的质心、轮廓、运动方向等信息作为特征描述目标的行为。此外，有基于运动轨迹的特征提取方法，该类方法通过获取物体在运动过程中的位置、长度、速度等信息构造特征；基于时空兴趣点的特征提取方法通过探测器寻找视频内时空维度中波动最剧烈的部分，即时空兴趣点，并使用特征描述符描述兴趣点周围的时空信息。此类方法从输入视频中检测到时空兴趣点后，一般利用局部特征描述子来描述人体行为，其中具有代表性的特征描述子有方向梯度直方图等。

深度学习方法目前流行的方法包括三维卷积神经网络的特征提取，其利用三维卷积神经网络能够较好提取时空特征的优势，结合合三维卷积核尺寸，同时提取输入视频的外观和运动特征。此外，基于双流卷积神经网络的特征提取方法，双流卷积神经网络是将输入视频分为时间流和空间流两个部分，提取多帧稠密光流信息作为时间流的输入，将单帧RGB图像作为空间流的输入，利用深度卷积神经网络分别对两种信息流进行处理，提取特征。相比于其他的特征提取方法，基于深度学习的特征提取方法不必定义提取的具体特征，可以通过较少的预处理、借助自身的多层隐藏节点直接从原始数据中学习有用特征。同时，基于深度学习的特征提取方法易与大数据进行结合，在多种场景下取得较好的应用效果。

行为分类识别方法主要分为有监督、半监督和无监督3种。有监督异常行为检测方法在模型训练之前需要对所有数据进行标注，通过样本数据与标签的映射关系建立起网络模型，之后进行特征提取并设置分类器，最终实现数据的分类，常用的分类器有支持向量机、贝叶斯网络等。 此外，卷积神经网络作为一种有监督方法，在异常行为检测领域同样有广泛应用。半监督学习是通过学习一部分已知标签的样本和一部分未知标签的样本，从而将输入数据映射到标签。 相比于异常数据，获取正常数据相对容易，因此，半监督方法在异常行为检测任务中使用较多。无监督学习是在无需任何数据标签的情况下，仅依靠样本之间的内部关联进行建模，并将全部数据映射到多个标签。由于大多数样本中异常行为出现的概率较低，在无监督异常行为检测过程中，通常将与数据主体相似度较低的行为视为异常行为。

针对飞行训练设备中飞行员异常行为分析，属于特定应用场景下的特定行为识别，传统研究方法在民航行业的飞行员驾驶异常行为研究鲜见，存在一定局限性，包括针对模拟舱内飞行员行为数据库建立、模拟舱视频数据传输与处理等。尤其是，现有方法主要以单一图像模式（二维或者三维图像），对飞行员行为进行识别分析，鲁棒性较低。为了解决以上问题，本项目拟开展多模式视频行为分析技术研究，通过采集模拟舱内飞行员二维/三维信息、电子设备图像，利用数据模型、机器学习和深度学习联合建立飞行员二维与三维信息之间的关联性，并引入电子设备图像状态信息作为判别参数，综合分析飞行员行为，提高系统对飞行员异常行为识别分的鲁棒性。

所述行为识别模型，其训练方法为：

步骤A10，获取训练样本数据，构建训练集；所述训练样本数据包括包含人体的影像数据及影像数据中各人体行为的识别结果的真值标签；

步骤A20，获取训练样本数据中各人体行为对应的概率分布，并选取概率分布最小的两个人体行为进行合并，合并后输入预构建的行为识别模型，得到人体行为对应的预测识别结果，作为第一结果；

步骤A30，基于所述第一结果，结合影像数据中各人体行为的识别结果的真值标签，计算损失值，更新所述行为识别模型的模型参数；

所述损失值，其计算方法为：

（1）

（2）

其中，

表示行为识别模型其在训练过程中的损失值，

、

表示人体行为对 应的预测识别结果、影像数据中各人体行为的识别结果的真值标签，

表示行为识别模型 的输入，

表示行为识别模型的权重，

表示Mask函数值，

、

表示设定的参数值，在 本发明中，

优选设置为3，

优选设置为-2。

步骤A40，循环步骤A20-A30，直至达到设定的训练次数，进而得到训练好的行为识别模型。

另外，通过摘要算法获取摘要数据的方法为：

将获取的前景特征数据，按照预设的分级原则获取对应的分级信息；将获得的分级信息通过摘要算法处理得到特征信息摘要数据；根据预设人脸特征类别编码表，获取对应前景特征数据的特征类别编码；将所述特征类别编码与所述特征信息摘要数据串接得到对应前景特征数据的摘要数据。

所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；

在本实施例中，飞行训练设备（也可以称之为全动模拟机）的驾驶舱内视频监控设备异常感知分为3个步骤，如图4（设备异常检测框架）所示。通过建立异常映射集、基于机器学习算法训练提取异常特征，感知异常，实现设备异常感知。设备异常映射集只是对已明确的设备异常状态或现象进行了枚举式描述，并没有涵盖所有的异常现象，还需在此基础上采用机器学习算法训练场景设备异常的特征提取规则，建立扩大化的场景设备异常特征提取能力。在转换飞行训练设备的模拟舱内视频监控场景设备异常映射的基础上，基于机器学习算法训练视频监控场景设备异常特征，对视频监控场景设备异常的重要性及破坏程度进行分析。其中，步骤1和步骤2是基础性设计，步骤3利用了机器学习算法，实现自主学习、发现异常的能力。

基于所述包含设备的影像数据，判断设备的运行是否异常，具体为：

获取包含设备的影像数据；

对所述包含设备的影像数据中的各图像进行阴影去除处理，得到预处理后的包含设备的影像数据；

其中，对所述包含设备的影像数据中的各图像像素点对应的灰度值为：

，其中，

表示图像中像素点

对应的灰度值，

表示图像中像素点

对应的表面反射率，

表示图像中像素点

对应 的光照强度；

基于所述预处理后的包含设备的影像数据，通过背景差分法生成背景图像，并计算当前帧图像与所述背景图像的差值，差值大于设定阈值的像素区域为设备目标区域，差值小于设定阈值的像素区域为背景区域；

提取所述设备目标区域的特征，并与预构建的设备信息数据库中的设备特征进行匹配，若匹配不一致，则设备运行存在异常。

通过异常行为识别单元，实现至少以下非工作状态行为识别：1.瞌睡，2.长时间看手机，3.衣着不整，4.未系好安全带，5.吃东西，6.呕吐，7.晕厥，8.非法闯入，10.疲劳训练，11.危险动作；通过设备异常感知单元，实现多种设备异常或者操作异常检测：1.标准程序严重差错，2.摄像头被遮盖，3.驾驶舱盖板松脱，4.驾驶舱内螺丝松动，5.训练仪表面板等设备明显位移，6.设备断电后异常通电点亮。

所述场景翻译与人机交互单元，配置为基于深度学习神经网络构建的场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员；还配置为当存在异常的行为或设备运行异常时，进行警报提示。

在本实施例中，建立基于深度学习神经网络构建的场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员，提示存在的异常行为、错误操作和仪器设备异常。

基于预构建的场景翻译模型，获取当前飞行训练设备模拟舱内场景的基本状态描述，其方法为：

获取待基本状态描述的影像数据序列，作为输入序列；

提取所述输入序列对应的特征表示；

通过所述场景翻译模型中的多层感知机得到各特征表示对应的语义属性向量；

基于所述语义属性向量，通过所述场景翻译模型中基于注意力机制的长短期记忆人工神经网络得到所述基本状态描述的视频帧序列对应的描述语句。

所述场景翻译模型中的多层感知机其在训练过程中的损失函数，其构建方法为：

（3）

其中，

表示场景翻译模型中的多层感知机其在训练过程中的损失函数 值，

表示训练数据集中描述语句的数量，

表示多层感知机输出的预测语义属性向量标 签的维度，

表示多层感知机的输入，

、

表示正则化参数，

、

分别表示多层 感知机输出的预测语义属性向量标签、真实的语义属性向量标签,

、

分别表示多层感 知机输出的前景特征对应的预测语义属性向量标签、前景特征对应的真实的语义属性向量 标签，

、

分别表示多层感知机输出背景特征对应的预测语义属性向量标签、背景特征 对应的真实的语义属性向量标签，

表示下标，

、

为预设的权重，

为多层感知机所 有的权重矩阵和偏置矩阵参数的集合。

另外，所述远程服务器还包括管理单元；

管理单元，配置为查看飞行训练设备的状态、控制是否接收边缘节点传输给远程服务器的数据；还配置为对飞行训练设备驾驶舱的摄像头和麦克风管理（如添加摄像头、麦克风），设置抽帧功能，配置AI技能（如：配置视觉和语音技能）；控制业务节点智能分析需要警示的事件以及进行终端警示（即通过图5中的手机、电脑、大屏等进行警示、预警）。

需要说明的是，上述实施例提供的基于AI视觉识别的飞行训练设备智能识别与警示系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

下面参考图6，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图6示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统包括中央处理单元（CPU，Central Processing Unit）601，其可以根据存储在只读存储器（ROM，Read Only Memory）602中的程序或者从存储部分608加载到随机访问存储器（RAM，Random Access Memory）603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM603通过总线604彼此相连。输入/输出（I/O，Input/Output）接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分609。通讯部分609经由诸如因特网的网络执行通讯处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被CPU601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，该系统包括：视频采集设备、远程服务器；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；

所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；

所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；

所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；

基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征、深度信息特征、人体骨骼信息特征；

基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；

所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；

所述场景翻译与人机交互单元，配置为基于预构建的场景翻译模型，获取当前飞行训练设备模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员；还配置为当存在异常的行为或设备运行异常时，进行警报提示；

其中，所述人体信息数据库包含人体前景特征对应的多个标准摘要数据；所述标准摘要数据为基于包含人体的影像数据获取人体对应的前景特征，并通过摘要算法处理后得到的摘要数据；

所述行为数据库包含预设的人体身份信息与预设的行为的映射关系；

所述前景特征提取模型基于卷积神经网络、行分类器构建；

所述行为识别模型基于特征提取模型、分类器构建；所述特征提取模型包括三维卷积神经网络、双流卷积神经网络、深度卷积神经网络；所述场景翻译模型基于依次连接的多层感知机、基于注意力机制的长短期记忆人工神经网络构建。

2.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，所述远程服务器还包括管理单元；

所述管理单元，配置为查看飞行训练设备的状态、控制是否接收边缘节点传输给远程服务器的数据；还配置为对飞行训练设备驾驶舱的摄像头和麦克风管理、设置抽帧功能、配置AI技能、控制业务节点智能分析需要警示的事件以及进行终端警示。

3.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，所述远程服务器通过组播方式发送和接收数据，具体为：

首先调用socket()函数创建一个Socket套接字，然后定义一个sockaddr_in结构体，并设置结构体里面的成员变量，所述成员变量包括通信协议、IP地址和端口；

接收端调用bind()函数用于绑定监听端口，然后定义一个ip_mreq结构体并设置组播地址用于加入组播组，调用setsockopt()设置组播参数，最后调用send()和read()函数分别用于发送和接收数据。

4.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合，其方法为：

通过卷积神经网络提取包含人体的影像数据的特征，作为第一特征；

基于所述第一特征，通过行分类器分别获取包含人体的影像数据中人体对应的前景特征，构建前景特征集合，包括：

通过所述行分类器获取包含人体的影像数据中各像素点对人体各个部位的置信度；

将置信度大于第一设定阈值的像素点作为前景像素，将置信度小于第二设定阈值的像素点作为背景像素；

基于提取的前景像素构建的特征作为所述包含人体的影像数据中人体对应的前景特征，构建前景特征集合。

5.根据权利要求4所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，通过摘要算法获取摘要数据的方法为：

将获取的前景特征，按照预设的分级原则获取对应的分级信息；

将获得的分级信息通过摘要算法处理得到特征信息摘要数据；

根据预设人脸特征类别编码表，获取对应前景特征数据的特征类别编码；

将所述特征类别编码与所述特征信息摘要数据串接得到对应前景特征数据的摘要数据。

6.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，基于所述包含设备的影像数据，判断设备的运行是否异常，其方法为：

获取包含设备的影像数据；

对所述包含设备的影像数据中的各图像进行阴影去除处理，得到预处理后的包含设备的影像数据；

基于所述预处理后的包含设备的影像数据，通过背景差分法生成背景图像，并计算当前帧图像与所述背景图像的差值，差值大于设定阈值的像素区域为设备目标区域，差值小于设定阈值的像素区域为背景区域；

提取所述设备目标区域的特征，并与预构建的设备信息数据库中的设备特征进行匹配，若匹配不一致，则设备运行存在异常。

7.根据权利要求6所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果，其方法为：

获取所述包含人体的影像数据；

对所述包含人体的影像数据中的各图像进行阴影去除处理，得到预处理后的包含设备的影像数据；

分别提取所述预处理后的包含人体的影像数据中的二维影像数据的特征、三维影像数据的特征，得到二维特征、三维特征；所述二维特征包括时空特征、外观与运动特征、运动轨迹特征；所述三维特征包括深度信息特征、人体骨骼信息特征；

将所述二维特征、所述三维特征进行融合，融合后输入预构建的分类器，得到人体行为的分类结果，即人体的行为识别结果。

8.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，所述行为识别模型，其训练方法为：

步骤A10，获取训练样本数据，构建训练集；所述训练样本数据包括包含人体的影像数据及影像数据中各人体行为的识别结果的真值标签；

步骤A20，获取训练样本数据中各人体行为对应的概率分布，并选取概率分布最小的两个人体行为进行合并，合并后输入预构建的行为识别模型，得到人体行为对应的预测识别结果，作为第一结果；

步骤A30，基于所述第一结果，结合影像数据中各人体行为的识别结果的真值标签，计算损失值，更新所述行为识别模型的模型参数；

所述损失值，其计算方法为：

其中，

表示行为识别模型其在训练过程中的损失值，

、

表示人体行为对应的 预测识别结果、影像数据中各人体行为的识别结果的真值标签，

表示行为识别模型的输 入，

表示行为识别模型的权重，

表示Mask函数值；

步骤A40，循环步骤A20-A30，直至达到设定的训练次数，进而得到训练好的行为识别模型。

9.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，基于预构建的场景翻译模型，获取当前飞行训练设备模拟舱内场景的基本状态描述，其方法为：

获取待基本状态描述的影像数据序列，作为输入序列；

提取所述输入序列对应的特征表示；

通过所述场景翻译模型中的多层感知机得到各特征表示对应的语义属性向量；

基于所述语义属性向量，通过所述场景翻译模型中基于注意力机制的长短期记忆人工神经网络得到所述基本状态描述的视频帧序列对应的描述语句。

10.根据权利要求1所述的基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，所述场景翻译模型中的多层感知机其在训练过程中的损失函数，其构建方法为：

其中，

表示场景翻译模型中的多层感知机其在训练过程中的损失函数值，

表 示训练数据集中描述语句的数量，

表示多层感知机输出的预测语义属性向量标签的维 度，

表示多层感知机的输入，

、

表示正则化参数，

、

分别表示多层感知机 输出的预测语义属性向量标签、真实的语义属性向量标签，

、

分别表示多层感知机输 出的前景特征对应的预测语义属性向量标签、前景特征对应的真实的语义属性向量标签，

、

分别表示多层感知机输出背景特征对应的预测语义属性向量标签、背景特征对应 的真实的语义属性向量标签，

表示下标，

、

为预设的权重，

为多层感知机所有的 权重矩阵和偏置矩阵参数的集合。

Images