CN113326951A - 一种飞行器外表口盖螺钉辅助检测装置及其使用方法 - Google Patents

Abstract

本发明涉及航空装备修理技术领域，具体是一种飞行器外表口盖螺钉辅助检测装置及其使用方法，该装置包括：智能眼镜、移动工作站、辅助系统，其具体步骤包括：S1、服务器从IETM系统下载工艺文件；S2、根据工艺要求编辑工艺文件，关联存储到本地数据中；S3、传输到智能眼镜端设备；S4、飞行器外表口盖螺钉装置检测；S5、将语音录入数据存储至本地数据库；S6、图片实时传输至服务器；S7、获取结果后在传输到智能眼镜；S8、信息类数据回传至服务存储；S9、服务器将所有结果生成电子报表，主干网络采用了从ImgeNet数据集预训练的权重，使得在进行迁移训练中只需要少量样本便可以获得良好的检测效果，同时本模型经过深度的算法优化，模型运行速度快。

Description

一种飞行器外表口盖螺钉辅助检测装置及其使用方法

技术领域

本发明涉及航空装备修理技术领域，具体是一种飞行器外表口盖螺钉辅助检测装置及其使用方法。

背景技术

飞行器外表口盖螺钉型号多、数量多，如口盖螺钉未拧紧造成的后果严重，风险较大。就目前检查记录方式还处在操作者纯目视检查和手工记录的阶段，这将不可避免出现数据孤岛现象，造成数据可追溯能力降低，对后期结果检查带来极大的滞后性；同时在几乎完全由操作者完成检查的大环境下，增加了人为不稳定因素所导致的操作风险。纸质记录方式，给后期的查证、留档、记录工作带来了极大的困扰。

目标检测，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。目标检测广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉降低人力消耗，具有重要的意义。目标检测是图像处理和计算机视觉学科的重要分支。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。最终目的是让机器具有分析学习的能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。TensorFlow是谷歌开发的一个开源的深度学习框架，在工业界有着广泛的运用。

现场再结合拥有独立操作系统的智能眼镜，通过语音引擎及调用内置摄像机，可实现便捷地的功能集成及现场应用。总的来说，该发明专利申请所公开的技术方案在一定程度上可以解决上述飞机放行前的质量管控检查工作中飞行器外表口盖螺钉安装情况问题。

如中国专利号为201410771733.5中公开了一种増强现实诱导维修系统的实现设备与方法,其中硬件包括一个3D智能眼镜、头盔、光学位置跟踪器、计算机,软件包括一套基于OSG显示引擎的零部件装配诱导系统,通过建立虚拟装配模型、注册头盔位置、定义零部件的折装关系层次、跟踪操作者位置、感知拆装情景、生成诱导信息、叠加显示诱导信息等步骤,实现提高维修效率,减少不必要损失的目的。

总的来说,该发明专利申请所公开的技术方案在一定程度上可以解决上述质量管控检查工作中飞行器外表口盖螺钉安装情况问题。然而，该发明专利所公开的技术方案,无法实现判断操作是否准确、数据是否合规、历史作业数据汇总、质量追溯等功能需求。

发明内容

为了解决上述问题，本发明提出一种飞行器外表口盖螺钉辅助检测装置及其使用方法。

一种飞行器外表口盖螺钉辅助检测装置，包括：

智能眼镜，通过增强现实技术，对口盖螺钉安装状态检查工作进行作业辅助；

移动工作站，用于集成管理平台软件，进行在线图像状态检测和存储、管理、维护、查看检验数据；

辅助系统，辅助操作者对全机口盖螺钉安装情况的检查，实现对口盖关键位置的一字、十字螺钉拧紧状态的自动判别，提示可疑的复查点。

所述的智能眼镜、移动工作站、辅助系统、眼镜配套处理系统之间的联系通过CPEpro无线上网卡实现基础数据、作业数据实时导入导出和目标状态在线检测。

所述的智能眼镜采用工业行业应用型智能眼镜。

所述智能眼镜设备支持USB有线和Wifi无线两种数据传输方式，用于操作人员穿戴智能眼镜。

所述的移动工作站具有基于服务器端图像识别引擎实现目标状态的检测的在线目标状态检测模块、对工序、图纸、视频、动画、信息、拍照、录像、示值采集、检测目标进行编辑修改的工艺编辑模块、建立用户权限管理控制的用户权限控制模块、将某一检验数据包的内容及相关联文件进行打包，生成Excel格式质量记录报表，以供用户下载离线查看作业记录的报表导出模块、实现用户信息及用户权限控制管理，以及对用户信息进行增删改查操作的用户管理模块、实现工艺文件的自动导入，工艺信息列表窗口化显示，以及对工艺信息的编辑的工艺文件管理模块、实现终端作业数据包的导入，单个作业数据信息列表的窗口化显示，以及质量记录报表的数据包管理模块、导出的基于图像特征识别技术，实现口盖关键位置的一字、十字螺钉拧紧状态自动判别的在线图像识别模块。

所述的移动工作站采用直接预测边界框坐标和类别的单阶段目标检测算法的目标检测技术用于目标特征提取的基础网络部分、多尺度特征提取网络部分和计算目标检测输出的前项损失部分。

所述的基础网络部分采用迁移学习的方法，利用在ImageNet数据集上已经训练好的分类网络模型作为预训练模型，去掉网络模型中用于输出分类结果的全连接层，将其作为特征提取的主干网络；所述的多尺度特征提取网络部分采用一系列级联的不同尺度的卷积层，并对主干网络进行不同尺度的特征提取，用于目标检测的输出；所述的前项损失部分由用于预测目标分类结果的Softmax损失函数和用于预测目标位置框回归结果的SmoothL1损失函数共同组成。

所述的辅助系统包括具有语音播报功能、文字提示功能、导航功能、图纸、视频、动画文件加载功能的作业过程引导模块、具有拍照、录像功能、多媒体文件加载浏览功能、定时拍照功能、语音录入功能的作业过程记录模块、具有目标状态检测功能、检测物抓拍功能的图像特征识别模块、具有语音口令识别功能、语音录入功能的语音识别模块、具有基础数据导入功能、作业数据包导出功能的终端数据通信模块。

一种飞行器外表口盖螺钉辅助检测装置的使用方法，其具体步骤如下：

S1、服务器从IETM系统下载工艺文件：系统服务器管理端基于SSM框架搭建，部署于工控网Tomcat服务器中；

S2、根据工艺要求编辑工艺文件，关联存储到本地数据中：主要包含对电子工艺手册的管理、上传、在线编辑、版本控制类功能及飞机检查作业数据包的管理、报表输出功能；

S3、服务器通过5G网络将工艺信息、资源文件和基础信息传输到智能眼镜端设备：由管理端获取MES系统下发的生产计划中的执行任务，包括架次、机号及随性文件，将任务信息存储至管理端，与事先由IETM获取解析的工艺执行手册关联，并及时下发至操作者的智能眼镜终端；

S4、智能眼镜端根据工艺要求进行飞行器外表口盖螺钉装置检测：在开工前与ERP系统进行校验，确认工具装备、零部件、调试设备、表盘仪器类物料信息是否充足可执行，并发送执行任务请求，调度部门随即派送相关物料类，否则递交领导审核是否越过特定工序步骤，或重新提交请求搁置任务，实时查看任务计划及进度状态，如在执行、待执行、已执行作业任务，在线执行记录等交互视图信息，满足多人、多任务、多架次作业；

S5、智能眼镜端通过语音识别功能进行过程引导操作，将语音录入数据存储至本地数据库：开工后，进入基于电子交互式手册的标准化作业指导程序，利用语音、文字、图纸、视频类提示方式，给予操作人员作业时必要的辅助信息；利用自定义相机及语言数值采集，进行图像化、数值化数据的采集；

S6、智能眼镜端通过多媒体拍照功能将口盖螺钉状态检测的图片实时传输至服务器：实现对现场画面实时拍照、录像记录，氧气、油量类表盘示值的数值化记录；同时，系统集成了基于TensorFlow的目标检测框架，以人机双重确认为原则，对全机口盖及口盖螺钉安装状态自动判别，保障关键节点检查的安全性；

S7、服务根据本地特征库，对口盖螺钉状态图片进行对比，获取结果后在传输到智能眼镜：利用5G网络，将检查作业数据实时上传管理端，实现电子工卡报表生成与生产信息的闭环；

S8、最后检测完，将多媒体文件、数值记录、工序相关信息类数据回传至服务存储：与工厂现有IETM、MES基础信息系统衔接，以平台发布的工艺文件、检验标准要素、作业任务为基准，标准化作业指导信息，统一获取、解析、整合、管理、回填结构化数据，保障产品信息化作业的操作闭环，提高数据的可追溯性；

S9、服务器将所有结果生成电子报表。

本发明的有益效果是：本发明使用框架的目标检测框架为TensorFlow，针对大分辨率图像中螺钉占比比较小的情况，针对传统目标检测算法进行了改进，让模型可以在小目标检测中获得显著的效果提升，主干网络采用了从ImgeNet数据集预训练的权重，使得在进行迁移训练中只需要少量样本便可以获得良好的检测效果，同时本模型经过深度的算法优化，模型运行速度快。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明的业务功能流程图；

图2为本发明的智能眼镜立体结构示意图；

图3为本发明的系统软件结构图；

图4为本发明的SSD目标架构图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面对本发明进一步阐述。

如图1至图4所示，一种飞行器外表口盖螺钉辅助检测装置，包括：

智能眼镜，通过增强现实技术，对口盖螺钉安装状态检查工作进行作业辅助；

移动工作站，用于集成管理平台软件，进行在线图像状态检测和存储、管理、维护、查看检验数据；

辅助系统，辅助操作者对全机口盖螺钉安装情况的检查，实现对口盖关键位置的一字、十字螺钉拧紧状态的自动判别，提示可疑的复查点。

本发明使用框架的目标检测框架为TensorFlow，针对大分辨率图像中螺钉占比比较小的情况，针对传统目标检测算法进行了改进，让模型可以在小目标检测中获得显著的效果提升，主干网络采用了从ImgeNet数据集预训练的权重，使得在进行迁移训练中只需要少量样本便可以获得良好的检测效果，同时本模型经过深度的算法优化，模型运行速度快。

系统将待检测视频流实时传输至服务器端接口进行在线图像状态检测，辅助操作者对全机口盖螺钉安装情况的检查，实现对口盖关键位置的一字、十字螺钉拧紧状态的自动判别，提示可疑的复查点，针对口盖关键位置上的一字、十字螺钉是否拧紧自动状态判别，提示可疑的需复查点，以人机双重确认的原则保障关键节点排故、防差错的能力。

所述的智能眼镜、移动工作站、辅助系统、眼镜配套处理系统之间的联系通过CPEpro无线上网卡实现基础数据、作业数据实时导入导出和目标状态在线检测。

CPE主要用于创建小范围的随身热点，接入工厂内部专用5G网络环境后，可构建出直径20m左右的局域网络。

智能眼镜端可通过无线网络传输的方式，获取工艺、人员、动画等作业相关信息，对服务器端数据进行版本控制，主动校验作业信息更新的情况，并实时同步更新本地数据；同时可将智能眼镜端作业结果信息实时同步上传，并可完成对图像结果的自动检测校验，将处理信息反馈至智能眼镜端交互界面，实现人机交互的流程引导与过程监督，具体参数如下：

如图2所示，所述的智能眼镜采用工业行业应用型智能眼镜，其中附图标记a为头带，b为麦克风B1，c为肩关节，d为显示屏，e为麦克风A1，f为肩关节锁环，g为调节杆，h为摄像头，i为肘关节，j为MicroSD插槽盖板，k为操作按钮，l为电源按钮，m为扬声器，n为可移除的后部头垫，具体数据情况如下：

所述智能眼镜设备支持USB有线和Wifi无线两种数据传输方式，用于操作人员穿戴智能眼镜。

所述的移动工作站具有基于服务器端图像识别引擎实现目标状态的检测的在线目标状态检测模块、对工序、图纸、视频、动画、信息、拍照、录像、示值采集、检测目标进行编辑修改的工艺编辑模块、建立用户权限管理控制的用户权限控制模块、将某一检验数据包的内容及相关联文件进行打包，生成Excel格式质量记录报表，以供用户下载离线查看作业记录的报表导出模块、实现用户信息及用户权限控制管理，以及对用户信息进行增删改查操作的用户管理模块、实现工艺文件的自动导入，工艺信息列表窗口化显示，以及对工艺信息的编辑的工艺文件管理模块、实现终端作业数据包的导入，单个作业数据信息列表的窗口化显示，以及质量记录报表的数据包管理模块、导出的基于图像特征识别技术，实现口盖关键位置的一字、十字螺钉拧紧状态自动判别的在线图像识别模块。

工艺编辑：对工序的操作内容、操作要求、检验标准、注意事项等信息进行编辑修改；对图纸、视频、动画等资源文件进行上传与关联；以及对拍照、录像、示值采集、检测目标等检验记录要求的设定。

用户权限控制：建立用户权限管理控制，不同权限的用户可访问、操作的内容不同。操作者权限只可查看自身相关信息；技术员权限则可执行智能眼镜端及服务器端数据的导入、导出；管理员拥有任意权限，如数据的添加、删除、编辑、查看等。

报表导出：将某一检验数据包的内容及相关联文件进行打包，生成Excel格式质量记录报表，以供用户下载离线查看作业记录。

作业数据实时查看：系统可将操作者作业相关信息利用工厂内部5G网络实时传输至服务器端，实时在线数据的实时监测。

在线目标状态检测：基于服务器端图像识别引擎实现目标状态的检测。

用户管理：实现用户信息及用户权限控制管理，以及对用户信息进行增删改查操作。

工艺文件管理：实现工艺文件的自动导入，工艺信息列表窗口化显示，以及对工艺信息的编辑。

数据包管理：实现智能眼镜端作业数据包的导入，单个作业数据信息列表的窗口化显示，以及质量记录报表的导出。

在线图像识别：基于图像特征识别技术，实现口盖关键位置的一字、十字螺钉拧紧状态自动判别，将目标状态结果及对应坐标信息返回智能眼镜端，并在分析识别结果后以AR增强现实渲染信息提示操作者。

所述的移动工作站采用直接预测边界框坐标和类别的单阶段目标检测算法的目标检测技术用于目标特征提取的基础网络部分、多尺度特征提取网络部分和计算目标检测输出的前项损失部分。

所述的基础网络部分采用迁移学习的方法，利用在ImageNet数据集上已经训练好的分类网络模型作为预训练模型，去掉网络模型中用于输出分类结果的全连接层，将其作为特征提取的主干网络；所述的多尺度特征提取网络部分采用一系列级联的不同尺度的卷积层，并对主干网络进行不同尺度的特征提取，用于目标检测的输出；所述的前项损失部分由用于预测目标分类结果的Softmax损失函数和用于预测目标位置框回归结果的SmoothL1损失函数共同组成。

如图3所示，由MES系统将工作任务派发到IETM系统，在IETM中引出一个获取检验工艺的web service接口，服务器端通过接口调用获取当前的工作任务及相应的xml格式工艺要求文件，系统提供了对xml格式的工艺文件进行解析、存储、编辑类管理服务，最终可生成智能眼镜可读的sqlite或文本格式文件，借助工厂5G网络实时传输并存储至智能眼镜端数据库中；

操作人员通过语音口令控制智能眼镜，选择相应的工艺文件，进入到作业流程引导界面，按照眼镜中语音、文字提示的检验规范，一步一步完成操作，系统每隔5秒会对现场情况进行一次拍照记录，并在关键节点处强制要求操作者拍照、录像记录；

特定检查点，如氧气、油量指示值，可引用语音录入功能，将语音转换成文本信息，并与工艺要求数值进行比对，在超出阈值范围时提供预警提示；针对口盖关键位置上的一字、十字螺钉是否拧紧自动状态判别，提示可疑的需复查点，基于人机双重确认的原则保障关键节点排故、查错的能力；

整个作业过程中各形式的数据记录会与工艺要求逐条对应，并存储在本地的数据库中。操作过程中系统自动将多媒体文件、数值记录等工序相关信息利用5G网络环境实时传输至服务器端，作业数据包管理服务为操作者提供了实时查看电子工卡作业数据的功能，可查询、汇总工作记录数据、生成检验报表；

最终将指定检验数据包生成标准工卡格式的xml文件，并调用ietm系统预设计的webservice接口，将数据上传信息化管理系统中，实现结构化工卡平台对接。

所述的辅助系统包括具有语音播报功能、文字提示功能、导航功能、图纸、视频、动画文件加载功能的作业过程引导模块、具有拍照、录像功能、多媒体文件加载浏览功能、定时拍照功能、语音录入功能的作业过程记录模块、具有目标状态检测功能、检测物抓拍功能的图像特征识别模块、具有语音口令识别功能、语音录入功能的语音识别模块、具有基础数据导入功能、作业数据包导出功能的终端数据通信模块。

所述的目标状态检测功能是通过智能眼镜端相机拍摄图片，关联存储到本地数据库，然后通过5G网络传输到移动工作站端进行图像处理，最后将对比结果反馈至智能眼镜端。

所述的检测物抓拍功能在运行图像特征识别功能时，系统需处于监测状态，当检测目标状态正确匹配时，系统将抓取识别过程中该帧的图像信息以此作为该关键检查点的图像记录，并自动关联存储。

所述的语音口令识别功能是系统需装置离线的语音识别引擎，操作者可利用预定义的语音口令词典，实现对智能眼镜端程序的全局口令控制及各功能的调用。

所述的作业数据包导出功能基于IETM的作业数据上传接口，系统需建立与该接口的对接，实现作业数据包中数值化、图像化、信息化相关记录的上传功能。

如图4所示，所述的目标状态检测功能是本模块的主要组成之一，主要采用了基于回归方式的Single Shot MultiBox Detector(SSD)算法，即直接预测边界框坐标和类别的单阶段目标检测算法，具有实时性好、准确率高的优点，具有以下特点：

(1)用于目标特征提取的基础网络部分，也称主干网络，该部分采用迁移学习的方法，利用在ImageNet数据集上已经训练好的分类网络模型作为预训练模型，然后去掉网络模型中用于输出分类结果的全连接层，将其作为特征提取的主干网络。

(2)多尺度特征提取网络部分，该部分采用一系列级联的不同尺度的卷积层，并对上述的主干网络进行不同尺度的特征提取，然后用于目标检测的输出。

(3)计算目标检测输出的前项损失部分，该部分的损失函数由用于预测目标分类结果的Softmax损失函数和用于预测目标位置框回归结果的Smooth L1损失函数共同组成。

然而SSD算法仍然存在小目标检测精度低的缺点，但是在口盖关键位置的一字、十字螺钉拧紧状态的应用中，存在待检测目标占图像比例较小的情况。为了应对这一缺点导致的目标检测效果达不到理想状态，本模块利用OpenCV对图像进行裁剪，并对检测结果进行拼接。

在图像传入服务器后，首先对图像进行裁剪，裁剪会根据预设好的图像比例，将一张图像裁剪成多张，并且每张裁剪后的图像会有边缘重合的部分，可以保证目标的完整性和清晰程度。在进行目标检测后，将检测结果拼接到未进行裁剪的原图上，使检测结果更加清晰。

所述的检测物抓拍功能在运行图像特征识别功能时，系统需处于监测状态，当检测目标状态正确匹配时，系统将抓取识别过程中该帧的图像信息以此作为该关键检查点的图像记录，并自动关联存储。

如图1所示，一种飞行器外表口盖螺钉辅助检测装置的使用方法，其具体步骤如下：

S1、服务器从IETM系统下载工艺文件：系统服务器管理端基于SSM框架搭建，部署于工控网Tomcat服务器中；

S2、根据工艺要求编辑工艺文件，关联存储到本地数据中：主要包含对电子工艺手册的管理、上传、在线编辑、版本控制类功能及飞机检查作业数据包的管理、报表输出功能；

S3、服务器通过5G网络将工艺信息、资源文件和基础信息传输到智能眼镜端设备：由管理端获取MES系统下发的生产计划中的执行任务，包括架次、机号及随性文件，将任务信息存储至管理端，与事先由IETM获取解析的工艺执行手册关联，并及时下发至操作者的智能眼镜终端；

S4、智能眼镜端根据工艺要求进行飞行器外表口盖螺钉装置检测：在开工前与ERP系统进行校验，确认工具装备、零部件、调试设备、表盘仪器类物料信息是否充足可执行，并发送执行任务请求，调度部门随即派送相关物料类，否则递交领导审核是否越过特定工序步骤，或重新提交请求搁置任务，实时查看任务计划及进度状态，如在执行、待执行、已执行作业任务，在线执行记录等交互视图信息，满足多人、多任务、多架次作业；

S5、智能眼镜端通过语音识别功能进行过程引导操作，将语音录入数据存储至本地数据库：开工后，进入基于电子交互式手册的标准化作业指导程序，利用语音、文字、图纸、视频类提示方式，给予操作人员作业时必要的辅助信息；利用自定义相机及语言数值采集，进行图像化、数值化数据的采集；

S6、智能眼镜端通过多媒体拍照功能将口盖螺钉状态检测的图片实时传输至服务器：实现对现场画面实时拍照、录像记录，氧气、油量类表盘示值的数值化记录；同时，系统集成了基于TensorFlow的目标检测框架，以人机双重确认为原则，对全机口盖及口盖螺钉安装状态自动判别，保障关键节点检查的安全性；

S7、服务根据本地特征库，对口盖螺钉状态图片进行对比，获取结果后在传输到智能眼镜：利用5G网络，将检查作业数据实时上传管理端，实现电子工卡报表生成与生产信息的闭环；

S8、最后检测完，将多媒体文件、数值记录、工序相关信息类数据回传至服务存储：与工厂现有IETM、MES基础信息系统衔接，以平台发布的工艺文件、检验标准要素、作业任务为基准，标准化作业指导信息，统一获取、解析、整合、管理、回填结构化数据，保障产品信息化作业的操作闭环，提高数据的可追溯性；

S9、服务器将所有结果生成电子报表。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种飞行器外表口盖螺钉辅助检测装置，其特征在于：包括：

智能眼镜，通过增强现实技术，对口盖螺钉安装状态检查工作进行作业辅助；

移动工作站，用于集成管理平台软件，进行在线图像状态检测和存储、管理、维护、查看检验数据；

辅助系统，辅助操作者对全机口盖螺钉安装情况的检查，实现对口盖关键位置的一字、十字螺钉拧紧状态的自动判别，提示可疑的复查点。

2.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的智能眼镜、移动工作站、辅助系统、眼镜配套处理系统之间的联系通过CPE pro无线上网卡实现基础数据、作业数据实时导入导出和目标状态在线检测。

3.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的智能眼镜采用工业行业应用型智能眼镜。

4.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的智能眼镜设备支持USB有线和Wifi无线两种数据传输方式，用于操作人员穿戴智能眼镜。

5.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的移动工作站具有基于服务器端图像识别引擎实现目标状态的检测的在线目标状态检测模块、对工序、图纸、视频、动画、信息、拍照、录像、示值采集、检测目标进行编辑修改的工艺编辑模块、建立用户权限管理控制的用户权限控制模块、将某一检验数据包的内容及相关联文件进行打包，生成Excel格式质量记录报表，以供用户下载离线查看作业记录的报表导出模块、实现用户信息及用户权限控制管理，以及对用户信息进行增删改查操作的用户管理模块、实现工艺文件的自动导入，工艺信息列表窗口化显示，以及对工艺信息的编辑的工艺文件管理模块、实现终端作业数据包的导入，单个作业数据信息列表的窗口化显示，以及质量记录报表的数据包管理模块、导出的基于图像特征识别技术，实现口盖关键位置的一字、十字螺钉拧紧状态自动判别的在线图像识别模块。

6.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的移动工作站采用直接预测边界框坐标和类别的单阶段目标检测算法的目标检测技术用于目标特征提取的基础网络部分、多尺度特征提取网络部分和计算目标检测输出的前项损失部分。

7.根据权利要求6所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的基础网络部分采用迁移学习的方法，利用在ImageNet数据集上已经训练好的分类网络模型作为预训练模型，去掉网络模型中用于输出分类结果的全连接层，将其作为特征提取的主干网络；所述的多尺度特征提取网络部分采用一系列级联的不同尺度的卷积层，并对主干网络进行不同尺度的特征提取，用于目标检测的输出；所述的前项损失部分由用于预测目标分类结果的Softmax损失函数和用于预测目标位置框回归结果的Smooth L1损失函数共同组成。

8.根据权利要求1所述的一种飞行器外表口盖螺钉辅助检测装置，其特征在于：所述的辅助系统包括具有语音播报功能、文字提示功能、导航功能、图纸、视频、动画文件加载功能的作业过程引导模块、具有拍照、录像功能、多媒体文件加载浏览功能、定时拍照功能、语音录入功能的作业过程记录模块、具有目标状态检测功能、检测物抓拍功能的图像特征识别模块、具有语音口令识别功能、语音录入功能的语音识别模块、具有基础数据导入功能、作业数据包导出功能的终端数据通信模块。

9.利用权利要求1至8中任一项所述的一种飞行器外表口盖螺钉辅助检测装置的使用方法，其特征在于：其具体步骤如下：

S1、服务器从IETM系统下载工艺文件：系统服务器管理端基于SSM框架搭建，部署于工控网Tomcat服务器中；

S2、根据工艺要求编辑工艺文件，关联存储到本地数据中：主要包含对电子工艺手册的管理、上传、在线编辑、版本控制类功能及飞机检查作业数据包的管理、报表输出功能；

S3、服务器通过5G网络将工艺信息、资源文件和基础信息传输到智能眼镜端设备：由管理端获取MES系统下发的生产计划中的执行任务，包括架次、机号及随性文件，将任务信息存储至管理端，与事先由IETM获取解析的工艺执行手册关联，并及时下发至操作者的智能眼镜终端；

S4、智能眼镜端根据工艺要求进行飞行器外表口盖螺钉装置检测：在开工前与ERP系统进行校验，确认工具装备、零部件、调试设备、表盘仪器类物料信息是否充足可执行，并发送执行任务请求，调度部门随即派送相关物料类，否则递交领导审核是否越过特定工序步骤，或重新提交请求搁置任务，实时查看任务计划及进度状态；

S5、智能眼镜端通过语音识别功能进行过程引导操作，将语音录入数据存储至本地数据库：开工后，进入基于电子交互式手册的标准化作业指导程序，利用语音、文字、图纸、视频类提示方式，给予操作人员作业时必要的辅助信息；利用自定义相机及语言数值采集，进行图像化、数值化数据的采集；

S6、智能眼镜端通过多媒体拍照功能将口盖螺钉状态检测的图片实时传输至服务器：实现对现场画面实时拍照、录像记录，氧气、油量类表盘示值的数值化记录；同时，系统集成了基于TensorFlow的目标检测框架，以人机双重确认为原则，对全机口盖及口盖螺钉安装状态自动判别，保障关键节点检查的安全性；

S7、服务根据本地特征库，对口盖螺钉状态图片进行对比，获取结果后在传输到智能眼镜：利用5G网络，将检查作业数据实时上传管理端，实现电子工卡报表生成与生产信息的闭环；

S8、最后检测完，将多媒体文件、数值记录、工序相关信息类数据回传至服务存储：与工厂现有IETM、MES基础信息系统衔接，以平台发布的工艺文件、检验标准要素、作业任务为基准，标准化作业指导信息，统一获取、解析、整合、管理、回填结构化数据，保障产品信息化作业的操作闭环，提高数据的可追溯性；

S9、服务器将所有结果生成电子报表。

Images