CN112232339B - 基于卷积神经网络的航显设备故障检测方法及监控装置 - Google Patents

基于卷积神经网络的航显设备故障检测方法及监控装置 Download PDF

Info

Publication number
CN112232339B
CN112232339B CN202011100553.6A CN202011100553A CN112232339B CN 112232339 B CN112232339 B CN 112232339B CN 202011100553 A CN202011100553 A CN 202011100553A CN 112232339 B CN112232339 B CN 112232339B
Authority
CN
China
Prior art keywords
display
equipment
fault
neural network
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011100553.6A
Other languages
English (en)
Other versions
CN112232339A (zh
Inventor
吕宗磊
张丹
潘芙兮
李光耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202011100553.6A priority Critical patent/CN112232339B/zh
Publication of CN112232339A publication Critical patent/CN112232339A/zh
Application granted granted Critical
Publication of CN112232339B publication Critical patent/CN112232339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于卷积神经网络的航显设备故障检测方法及监控装置，包括：一，采集航显设备的界面，并对显示界面进行预分类；二，设计语义理解模型，构建卷积神经网络，对航显设备显示界面进行语义理解；三，对非正常情况下的界面进行分类；四，对于正常显示的航显界面进行语义理解，检测是否出现故障；五，对不能理解的符号、图标进行分析；六，将故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练；七，将CNN故障分类器进行优化压缩后植入SOM‑RK3399嵌入式设备，得到航显监控装置；八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态。

Description

基于卷积神经网络的航显设备故障检测方法及监控装置
技术领域
本发明属于图像处理技术技术领域，特别是涉及一种基于卷积神经网络的航显设备故障检测方法及监控装置。
背景技术
随着乘机出行需求的日益增加及出行标准的逐步提高，越来越多的机场开始实施“无纸化”出行，旅客可以通过自助值机、自助行李托运及自助登机等触控显示设备进行全流程自助服务；此外，航站楼显示系统负责为旅客提供全方位的信息指引，用于面向旅客提供航班信息、公告信息、服务信息等等，航显设备分散在航站楼的各个区域，航显设备的增多同时也伴随着显示设备故障等问题。航显设备故障不仅直接影响航显系统提供信息的及时性、准确性，给旅客出行带来极大不便；由于航显屏的可触控性，设备故障还存在极大安全隐患，如后台信息泄露、旅客误操作等等。因此，如何及时发现航显设备的故障成为机场管理方十分重视的问题。
传统的航显设备故障检测多采用人工巡检的方式，但是人工巡检存在巡检频率低、巡检效果不佳、人力成本高等缺点。由于技术有限，以往对于航显设备故障问题的智能化检测依赖于建立标准数据库，内容更新慢，维护成本高；采用特征点比对技术对数据库中的标准航显图片和待检测航显图片进行比对来检测显示屏状态，这种检测方式不能适应日益增长的需求和多样化的显示界面用例。基于深度学习的方法能够提取复杂的特征信息，避免了人工确定故障特征的局限性，降低了因特征提取方法的不同而导致的故障检测的不确定性。同时通过批量的数据训练实现不同故障类型的自学习和特征自提取过程，网络模型可以提取到不容易被人工注意到的特征，具有很强的实用性和通用性。同时，通过建立语义模型对航显图片进行理解，可以更好的判断航显屏显示状态和对故障情况分类。
发明内容
本发明为解决机场运营中存在的显示设备故障问题而提供一种基于卷积神经网络的航显设备故障检测方法及监控装置；本发明可以对航显设备进行实时信号采集以及故障检测与分类，大大减少了机场的人力资源消耗，提高了故障检测的效率。
技术方案
本发明的第一目的是提供一种基于卷积神经网络的航显设备故障检测方法，包括：
步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
步骤七，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；
步骤八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
优选地，所述背景知识包括航班延误、取消和登机口变动。
优选地，步骤一中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集采取运行截图，对负样本进行实地考察和预处理，构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型，CNN预分类模型检测出航显设备异常显示故障，对正常显示界面则进一步语义理解来检测显示信息和格式是否正确。
优选地，步骤二中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
优选地，步骤六中，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
优选地，步骤七中，根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM-RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
优选地，步骤八中，监控装置通过HDMI-INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI-OUTPUT端口输出到显示屏；监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
本专利的第二发明目的是提供一种基于卷积神经网络的航显设备故障监控装置，包括：
模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
模块G，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；
模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
本发明的优点及积极效果为：
通过采用上述技术方案，本发明具有如下的技术效果：
本发明设计卷积神经网络对航显设备显示界面进行故障检测，并对显示图像进行语义理解，进一步判断具体故障类型。采用CNN对原始图像数据结合语义信息进行特征提取得到CNN故障分类模型，优化模型并植入SOM-RK3399嵌入式设备得到监控装置。监控装置通过实时采集航显设备输出信号，获取待检测的航显设备运行图像，将待检测图片送入卷积神经网络进行故障检测与语义理解，实时监控显示界面是否处于正常状态；其中语义理解部分利用光学字符识别(OCR)技术对显示信息进行文字提取，使用CNN理解识别出的信息并结合背景知识进行分析，判断航显终端的显示信息是否准确无歧义；如果发现故障，根据故障内容发出报警，提醒技术人员及时处理。本发明实现了对航显设备出现的非正常显示界面、显示信息与背景知识不一致、显示内容格式出错等故障的智能检测，减少了对航显设备故障现象的人工检验；增加了对航显设备显示界面的语义理解，提高了航显设备显示信息的完好性和准确性。
附图说明
图1为本发明优选实施例的流程图；
图2为OCR识别航显界面文字信息示例图；
图3为CNN故障检测分类流程图；
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
请参阅图1至图3，
基于深度学习的设备故障检测实质上是分类问题，通过对不同显示界面的差异进行特征提取和预分类可以检测到航显屏的异常显示状态。对于正常显示情况下的语义错误检测则需要根据背景知识建立语义理解模型，对显示界面进行描述和语义分析。将故障图片以及语义理解信息送入卷积神经网络进行特征提取并训练得到CNN故障分类器，通过预训练得到的CNN故障分类模型可以对不同故障情况下的显示界面进行检测和分类。
这里提出的故障检测方法是针对航站楼的航显设备的，航显设备是用于面向旅客提供航班信息、公告信息、服务信息的特定设备。航显设备具有以下几个特点：①航显设备类型比较固定，显示设备功能比较明确；②航显设备之间的联系比较紧密，不同的航显设备提供的信息可以作为语义分析的依据，把其他的航显设备的显示信息作为背景知识进行推理可以更好地理解航显内容的语义信息。③航站楼场景下的逻辑规则较为简单，如航班延误、登机口变动等规则产生的背景知识可以通过简单推理得到。
根据航显屏的特征，本发明提出了一种基于卷积神经网络的航显设备故障检测方法及监控装置，这种方法能有效减少对故障检现象的人工检验，增加了对内容的语义理解，提高了航显设备显示信息的完好性和准确性。
请参阅图1至图3，
由附图1可知，本发明共需要两个实现阶段，分别是卷积神经网络训练阶段和故障监控装置检测阶段。本发明公开了一种基于深度学习的航显设备故障检测方法，该方法包括以下几个步骤：
步骤1，采集航显设备正常显示情况下和非正常显示情况下的界面，通过卷积神经网络(CNN)提取特征并进行训练，得到CNN预分类模型。CNN预分类模型可以检测出航显设备异常显示故障，对正常显示界面则需要进一步语义理解来检测显示信息和格式是否正确。
步骤2，设计语义理解模型对正常显示界面中的语义错误进行检测。由附图2可知，对图片显示内容进行语义理解首先需要调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识如航班延误、取消，登机口变动等进行推理和分析，判断航显屏显示信息是否一致、正确。如航班取消后是否还在航班信息中显示，登机口变动信息是否及时更新，是否出现不同航显设备显示内容相矛盾等故障；
步骤3，若检测航显设备非正常显示，对非正常情况下的界面进行分类，分为黑屏、花屏、显示为Windows界面、显示后台崩溃界面。
步骤4，对于正常显示的航显界面进行语义理解，检测是否出现理解歧义或者显示信息与背景知识不一致的故障。
步骤5，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，内容格式不正确、显示信息不完整等故障。
步骤6，由附图3可知，将步骤3-5中所有的故障图片和辅助的语义信息都作为输入送入CNN故障分类器进行分类，CNN故障分类模型通过提取不同故障情况下显示界面的特征并结合语义理解信息对不同类型的故障界面进行分类。将航显设备显示界面输入CNN故障分类模型进行检测可以得出航显设备是否故障以及故障情况下的具体故障信息。
步骤7，将CNN故障分类模型进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置，本发明使用SOM-RK3399嵌入式设备，该硬件设备支持多种嵌入式操作系统，本发明结合机场航显设备系统的现有开发环境，为SOM-RK3399嵌入式设备搭建Ubuntu 18.04嵌入式操作系统，安装所需的基本软件开发python库，以及相关的开发框架。
步骤8，监控装置采集航显设备输出信号，检测航显设备是否处于正常工作状态。本发明使用SOM-RK3399嵌入式设备，在训练模型阶段，采集到的航显图像训练集直接通过数据线拷贝到硬件模块，嵌入式设备操作系统界面通过HDMI-OUTPUT输出到显示屏进行模型的训练和开发工作。在检测测试阶段，嵌入式设备通过HDMI-INPUT端口与航显设备进行连接，采集航显设备运行的待检测图像，将图像通过HDMI-INPUT端口载入模型进行识别与检测，检测结果通过HDMI-OUTPUT端口输出到显示屏。实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
一种基于卷积神经网络的航显设备故障监控装置，包括：
模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
模块G，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；
模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
模块A中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集可以采取运行截图，负样本需要进行实地考察和预处理。构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型。CNN预分类模型可以检测出航显设备异常显示故障，对正常显示界面则需要进一步语义理解来检测显示信息和格式是否正确。
模块B中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，还需要结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
模块C中，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，分类结果作为检测故障的依据。
模块D中，对于正常显示下的航显界面进行语义理解，运用语义理解模型进行分析，检测是否出现理解歧义或者显示信息与背景知识不一致的故障。
模块E中，在语义理解的过程中，对不可理解的部分，检测是否存在内容乱码、格式错误、显示信息不完整等故障。
模块F中，将模块C、模块D、模块F得到的故障航显设备显示图片结合语义信息都输入CNN分类器进行分类，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
模块G中，将模块F经过训练生成的CNN故障分类模型植入到嵌入式设备。根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM-RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
模块H中，监控装置通过HDMI-INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI-OUTPUT端口输出到显示屏。监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (8)

1.一种基于卷积神经网络的航显设备故障检测方法，其特征在于，包括如下步骤：
步骤一，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
步骤二，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
步骤三，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
步骤四，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
步骤五，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
步骤六，将步骤三至步骤五的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
步骤七，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；
步骤八，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
2.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，所述背景知识包括航班延误、取消和登机口变动。
3.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤一中，检测航显设备是否正常显示是一个不平衡的二分类问题，航显设备正常显示样本远远多余非正常显示样本，对正样本的采集采取运行截图，对负样本进行实地考察和预处理，构建正负样本集并送入卷积神经网络进行故障预分类训练，得到CNN预分类模型，CNN预分类模型检测出航显设备异常显示故障，对正常显示界面则进一步语义理解来检测显示信息和格式是否正确。
4.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤二中，建立航站楼语义背景下的语义理解模型，采用OCR技术先对航显屏的显示信息进行提取和校对，结合其他航显设备的显示信息进行推理分析得出符合当前场景的背景知识，检测航显设备的显示信息是否与语义背景相一致。
5.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤六中，分类器通过对不同故障情况下的特征进行提取和分析，实现对不同类型的故障进行分类。
6.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤七中，根据嵌入式设备的具体性能来评估CNN模型的算法，将模型转变为可以在SOM-RK3399嵌入式设备中直接运行的底层代码，得到基于CNN故障分类器的航显监控装置。
7.根据权利要求1所述的基于卷积神经网络的航显设备故障检测方法，其特征在于，步骤八中，监控装置通过HDMI-INPUT端口实时采集航显设备的输出信号，形成设备运行图像，将图像载入模型进行识别与检测，检测结果通过HDMI-OUTPUT端口输出到显示屏；监控装置通过实时检测航显设备是否处于正常工作状态，对检测设备进行状态记录，如果发现问题及时进行故障警报，保存具体的错误信息，方便技术人员进行处理。
8.一种基于卷积神经网络的航显设备故障监控装置，其特征在于：包括：
模块A，采集航显设备在正常显示和非正常显示情况下的界面，并对显示界面进行预分类，使用基于区域的卷积神经网络提取特征并进行训练，得到基于卷积神经网络的预分类模型；
模块B，设计语义理解模型，构建卷积神经网络对航显设备显示界面进行语义理解，对显示界面进行描述和语义分析，检测显示界面是否和航显屏功能相匹配，调用OCR外部接口提取显示图像文字信息，将显示信息与后台数据库信息比对，并加上背景知识进行推理和分析；
模块C，若检测航显设备界面为非正常显示界面，则对非正常情况下的界面进行分类，划分为四类：黑屏、花屏、显示为Windows界面、显示后台崩溃界面；
模块D，对于正常显示的航显界面进行语义理解，运用模型进行检测，检测是否出现理解歧义或者显示信息与背景知识不一致的故障；
模块E，对不能理解的符号、图标进行分析，检测是否出现显示内容乱码，或内容格式不正确、或显示信息不完整故障；
模块F，将模块C、模块D和模块E的故障检测图片结合语义理解信息送入卷积神经网络进行特征提取和训练，得到CNN故障分类器；
模块G，将CNN故障分类器进行优化压缩后植入SOM-RK3399嵌入式设备，得到航显监控装置；
模块H，监控装置采集航显设备输出信号，形成显示图片送入CNN处理模块，检测航显设备是否处于正常工作状态；实时对检测设备进行状态记录，及时进行故障警报，保存具体错误信息方便技术人员进行处理。
CN202011100553.6A 2020-10-15 2020-10-15 基于卷积神经网络的航显设备故障检测方法及监控装置 Active CN112232339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011100553.6A CN112232339B (zh) 2020-10-15 2020-10-15 基于卷积神经网络的航显设备故障检测方法及监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011100553.6A CN112232339B (zh) 2020-10-15 2020-10-15 基于卷积神经网络的航显设备故障检测方法及监控装置

Publications (2)

Publication Number Publication Date
CN112232339A CN112232339A (zh) 2021-01-15
CN112232339B true CN112232339B (zh) 2023-04-07

Family

ID=74112975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011100553.6A Active CN112232339B (zh) 2020-10-15 2020-10-15 基于卷积神经网络的航显设备故障检测方法及监控装置

Country Status (1)

Country Link
CN (1) CN112232339B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359271B (zh) * 2022-03-10 2022-06-03 天津市北海通信技术有限公司 一种列车显示设备图像播放质量的检测方法和装置
CN114419624A (zh) * 2022-03-28 2022-04-29 天津市北海通信技术有限公司 一种基于图像视觉算法的图像文字校验方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862322A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 结合图片和文本进行图片属性分类的方法、装置及系统
CN108647716A (zh) * 2018-05-09 2018-10-12 北京理工大学 一种基于复合信息的光伏阵列故障诊断方法
CN109413411A (zh) * 2018-09-06 2019-03-01 腾讯数码（天津）有限公司 一种监控线路的黑屏识别方法、装置及服务器
CN109886431A (zh) * 2019-01-25 2019-06-14 北京首都国际机场股份有限公司 一种机场航显终端自动巡检系统
CN111026870A (zh) * 2019-12-11 2020-04-17 华北电力大学 一种综合文本分类和图像识别的ict系统故障分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862322A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 结合图片和文本进行图片属性分类的方法、装置及系统
CN108647716A (zh) * 2018-05-09 2018-10-12 北京理工大学 一种基于复合信息的光伏阵列故障诊断方法
CN109413411A (zh) * 2018-09-06 2019-03-01 腾讯数码（天津）有限公司 一种监控线路的黑屏识别方法、装置及服务器
CN109886431A (zh) * 2019-01-25 2019-06-14 北京首都国际机场股份有限公司 一种机场航显终端自动巡检系统
CN111026870A (zh) * 2019-12-11 2020-04-17 华北电力大学 一种综合文本分类和图像识别的ict系统故障分析方法

Also Published As

Publication number Publication date
CN112232339A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232339B (zh) 基于卷积神经网络的航显设备故障检测方法及监控装置
CN111343161A (zh) 异常信息处理节点分析方法、装置、介质及电子设备
CN108229481B (zh) 屏幕内容分析方法、装置、计算设备及存储介质
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN110473530B (zh) 指令分类方法、装置、电子设备及计算机可读存储介质
CN111860277A (zh) 基于颜色直方图特征的民航飞机空速管套安全警示方法
CN112232354A (zh) 一种文字识别方法、装置、设备及存储介质
CN113657088A (zh) 接口文档解析方法、装置、电子设备以及存储介质
CN115546485A (zh) 一种分层自注意力场景语义分割模型的构建方法
CN112270373A (zh) 一种基于图像识别技术的调度主站三遥变化自动识别方法
CN113254507A (zh) 一种数据资产目录智能构建盘点方法
CN116361147A (zh) 测试用例根因定位方法及其装置、设备、介质、产品
CN117235243A (zh) 民用机场大语言模型训练优化方法及综合服务平台
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
CN111063446B (zh) 用于标准化医疗文本数据的方法、装置、设备及存储介质
CN113778875B (zh) 一种系统测试缺陷分类方法、装置、设备及存储介质
CN110879821A (zh) 评分卡模型衍生标签生成方法、装置、设备及存储介质
CN115963344A (zh) 故障检测方法、装置、电子设备及存储介质
Zeng et al. [Retracted] Analysis of Abnormal Flight and Controllers Data Based on DBSCAN Method
CN112882915B (zh) 基于对象绑定的监控测点误连接自动检测方法
CN113887394A (zh) 一种图像处理方法、装置、设备及存储介质
CN114121017A (zh) 多安全级空管语音智能监控系统
CN110032666B (zh) 基于历史ads-b的特定飞机目标甄选方法
CN112818972A (zh) 兴趣点图像的检测方法、装置、电子设备及存储介质
Chin et al. Knowledge Discovery Within ADS-B Data from Routine Helicopter Tour Operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant