CN112884807A - 基于红外热成像的飞行操纵动作监控方法及系统 - Google Patents
基于红外热成像的飞行操纵动作监控方法及系统 Download PDFInfo
- Publication number
- CN112884807A CN112884807A CN202110060279.2A CN202110060279A CN112884807A CN 112884807 A CN112884807 A CN 112884807A CN 202110060279 A CN202110060279 A CN 202110060279A CN 112884807 A CN112884807 A CN 112884807A
- Authority
- CN
- China
- Prior art keywords
- thermal imaging
- flight
- video
- stage
- cockpit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 100
- 230000009471 action Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 47
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 66
- 230000004927 fusion Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000006698 induction Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000031963 Beta-mercaptolactate cysteine disulfiduria Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- -1 power supply Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Software Systems (AREA)
- Toxicology (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及飞行训练技术领域，公开了一种基于红外热成像的飞行操纵动作监控方法及系统，其方法包括：采集飞行操纵动作数据，基于飞行操纵动作数据生成热成像视频，通过对热成像视频进行分解，生成第一阶段图片；基于驾驶舱区域标识信息构建空间坐标系，通过空间坐标系划定驾驶舱操纵区域，并将操纵区域标记至第一阶段图片，生成第二阶段图片；根据第二阶段图片生成时序视频，对时序视频标记飞行关键阶段信息，根据飞行关键阶段信息生成操纵热力图。本发明至少具有以下有益效果：客观且有针对性地还原驾驶舱动作，实现可视化讲评，显著减少信息失真。
Description
技术领域
本发明涉及飞行训练技术领域，特别涉及一种基于红外热成像的飞行操纵动作监控方法及系统。
背景技术
中国民航业近些年实现了跨越式发展，尤其是运送旅客数量有了显著增加，这对民航飞行运行安全提出了更高的要求。模拟机训练是提高飞行员核心胜任能力，保障飞行安全的重要手段，如何科学高效的进行模拟机训练是各大航空公司以及训练中心面临的问题。飞行学员(训练机组)在飞行训练过程因应教员设置的训练科目需要做大量的操纵动作。目前，对于学员操纵动作的监控全部由处于观察者位置的教员通过脑力记忆以及笔记实现，这种人工方式存在信息失真以及不可回溯的情况，无法有效还原操纵细节并实现可视化讲评，无法为飞行学员提供可重复推演学习的素材，更做不到关键飞行阶段操纵动作的监控与分析。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于红外热成像的飞行操纵动作监控方法，能够提高训练机组的训练效率。
本发明还提出一种具有上述基于红外热成像的飞行操纵动作监控方法的飞行操纵动作监控系统。
根据本发明的第一方面实施例的基于红外热成像的飞行操纵动作监控方法，包括以下步骤：S100、采集飞行操纵动作数据，基于所述飞行操纵动作数据生成热成像视频，通过对所述热成像视频执行分片操作，生成第一阶段图片，所述第一阶段图片中包括驾驶舱区域标识信息；S200、基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域，并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；S300、根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息，根据所述飞行关键阶段信息生成操纵热力图。
根据本发明的一些实施例，所述步骤S100还包括：S110、接收多台热成像采集装置采集的基于所述飞行操纵动作的多组热成像数据，接收驾驶舱内部音频数据；S120、通过对多组热成像数据执行压缩操作，生成多组固定格式的视频文件；S130、通过对多组视频文件以预设帧频及预设尺寸执行切片操作，生成多组切片图片；S140、对多组切片图片执行拼接融合操作，得到第一阶段图片。
根据本发明的一些实施例，所述对多组切片图片执行拼接融合操作，包括：基于OpenCV的SURF算法对多组切片图片提取特征点，基于提取的特征点对多组切片图片进行匹配；将匹配之后的切片图片进行图像配准、图像拷贝及图像融合，实现多组图片的拼接融合。
根据本发明的一些实施例，所述步骤S200包括：S210、识别所述第一阶段图片的驾驶舱区域标识信息；S220、基于所述驾驶舱区域标识信息构建空间坐标系，所述空间坐标系的数量与所述驾驶舱区域标识信息的数量相等；S230、基于所述空间坐标系确定所述驾驶舱操纵区域的坐标范围；S240、根据所述坐标范围，将所述操纵区域以设定形式标记至所述第一阶段图片中，得到第二阶段图片。
根据本发明的一些实施例，所述步骤S220包括：S221、识别所述驾驶舱区域标识信息在所述第一阶段图片中的位置；S222、以所述位置为原点建立空间坐标系，所述空间坐标系包括第一坐标系、第二坐标系及第三坐标系，其中，第一坐标系为顶板坐标系，第二坐标系为遮光板和主仪表板坐标系，第三坐标系为中控台坐标系。
根据本发明的一些实施例，所述驾驶舱区域标识信息为红外感应二维码信息。
根据本发明的一些实施例，所述步骤S300还包括：按照预设帧频合成所述第二阶段图片，得到时序视频；通过对所述时序视频插入所述驾驶舱内部音频数据，得到时序热成像视频；对所述时序热成像视频按照所述飞行操纵动作的场次进行编号，并以所述编号为索引值存储所述时序热成像视频。
根据本发明的一些实施例，所述步骤S300还包括：按照预设帧频合成所述第二阶段图片，得到时序视频；识别所述时序视频中的关键飞行阶段，所述关键飞行阶段包括飞机起飞阶段、飞机降落阶段以及特情阶段，所述特情阶段包括突发系统故障、突发机械故障及特殊飞行科目；分别提取所述关键飞行阶段的时序视频生成对应的关键阶段视频，通过对所述关键阶段视频以所述预设帧频执行切片操作，生成一组对应的关键阶段热力切片图；通过对一组对应的关键阶段热力切片图，根据所述操纵区域，执行图像合成叠加操作，生成一张对应的操纵热力图，所述操纵热力图包括对应的关键飞行阶段中采集的所有飞行操纵动作数据在驾驶舱操纵区域的分布情况及轨迹信息；按照所述飞行操纵动作的场次对所述操纵热力图进行编号，并以所述编号为索引值存储所述操纵热力图。
根据本发明的第二方面实施例的基于红外热成像的飞行操纵动作监控系统，包括基于红外热成像的飞行操纵动作监控方法，还包括：热成像采集装置，位于模拟机驾驶舱内，用于分区域采集机组飞行操纵动作数据并生成热成像视频；视频生成与图像化工作站，用于接收所述热成像采集装置采集的热成像视频及驾驶舱音频信号，对接收到的所述热成像视频进行分解和融合，生成第一阶段图片，所述第一阶段图片中还包括驾驶舱区域标识信息；驾驶舱区域标识计算机，用于基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；以及生成驾驶舱区域图，实现对机组操纵区域的定位；关键阶段划定计算机，用于根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息；时序视频与操纵热力图生成工作站，用于接收所述驾驶舱区域标识计算机生成的所述驾驶舱区域图，以及，接收所述关键阶段划定计算机生成的包含有关键阶段信息的时序视频，生成时序热成像视频及操纵热力图；结果数据中心服务器，用于接收并分组存储所述时序热成像视频及所述操纵热力图。
根据本发明的一些实施例，所述热成像采集装置包括：多个热成像装置，分别部署于机舱中的不同操控区域，用于全面采集飞行操纵动作数据；录音装置，部署于中央操纵台边缘，用于收集驾驶舱环境声音、模拟机系统声音以及机组对话声音；多个定位装置，所述定位装置为红外感应二维码，分别部署于机舱中的不同操控区域，用于对机舱中的不同操控区域进行二维空间定位。
根据本发明实施例的基于红外热成像的飞行操纵动作监控方法，至少具有如下有益效果：显著减少信息失真，减少人的因素对飞行训练结果的影响；客观且有针对性地还原驾驶舱动作，实现可视化讲评；生成的时序热成像视频可为飞行学员提供学习材料，帮助其推演训练过程，完成自我分析与提高；通过操纵热力图形式实现对关键飞行阶段操纵动作的客观量化分析。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的方法的流程示意图之一；
图2为本发明实施例的获取第一阶段图片方法的流程示意图；
图3为本发明实施例的获取第二阶段图片方法的流程示意图；
图4为本发明实施例的建立空间坐标系方法的流程示意图；
图5为本发明实施例的建立空间坐标系的效果示意图；
图6为本发明实施例的生成时序热成像视频方法的流程示意图；
图7为本发明实施例的生成操纵热力图方法的流程示意图；
图8为本发明实施例的系统的模块示意图；
图9为本发明实施例的热成像采集装置部署示意图；
图10为本发明实施例的方法的流程示意图之二。
名词解释：
OpenCV、OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。
SURF、一种基于局部特征点提取、描述及匹配的算法。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
参照图1，图1为本发明的实施例的方法的流程示意图之一，包括：
采集飞行操纵动作数据，基于飞行操纵动作数据生成热成像视频，通过对热成像视频执行分片操作，生成第一阶段图片，第一阶段图片中还包括驾驶舱区域标识信息；
基于驾驶舱区域标识信息构建空间坐标系，通过空间坐标系划定驾驶舱操纵区域并将操纵区域标记至第一阶段图片，生成第二阶段图片；
根据第二阶段图片生成时序视频，对时序视频标记飞行关键阶段信息，根据飞行关键阶段信息生成操纵热力图。
需要说明的是，在采集机组飞行操纵动作数据时，由于机舱内的光线并不充足，使用传统的视频采集设备采集的视频并不理想，由于环境昏暗，通过传统的摄像装置采集的机组操纵动作经常模糊不清，不能用于教学实践，另一方面，人体的不同部位发出的热量能够被红外热成像装置很好的捕捉，尤其对于人体露出的部位，比如手部，红外热成像捕捉产生的信号强度更大也更加清楚，而机组的操控动作主要依靠手部对仪表按钮的操作来完成，因此，发明人发现，使用红外热成像装置用于对机组操纵动作的捕捉具备很好的效果，更有利于后续对操纵动作的可视化展示及客观量化分析。
本发明通过采集飞行操纵动作生成热成像视频，基于热成像视频生成第一阶段图片，在第一阶段图片中加上驾驶舱操纵区域的坐标信息后生成时序视频，在时序视频中标记飞行关键阶段信息生成操纵热力图。通过对时序视频和关键阶段的操作热力图进行回溯分析，能够帮助学员推演训练过程，完成自我分析与提高，通过本发明的方法，能够显著减少信息失真，减少人的因素对飞行训练结果的影响；客观且有针对性地还原驾驶舱动作，实现可视化讲评；生成的时序热成像视频可为飞行学员提供学习材料，帮助其推演训练过程，完成自我分析与提高；通过操纵热力图形式实现对关键飞行阶段操纵动作的客观量化分析。
图2为本发明实施例的获取第一阶段图片方法的流程示意图，包括：
接收多台热成像采集装置采集的基于飞行操纵动作的多组热成像数据，接收驾驶舱内部音频数据，需要说明的是，此处多台是指2台以上，综合成本和成像效果，这里优选2台；
通过对多组热成像数据执行压缩操作，生成多组固定格式的视频文件，这里对热成像数据的压缩可以使用现有技术的任一种压缩算法，生成固定格式可以是任一种视频格式，此处优选mp4格式；
通过对多组视频文件以预设帧频及预设尺寸执行切片操作，生成多组切片图片；
对多组切片图片执行拼接融合操作，得到第一阶段图片。
具体的，通过安装在视频生成与图像化工作站上面的视频压缩卡实时将热成像流媒体数据压缩录制成mp4格式的视频，同时录制驾驶舱内的环境声音(包括机组对话，系统告警音以及发动机声音等)，以30Hz的固定帧率以及1920*1080的尺寸切分视频形成图片；生成图片的组数与热成像采集装置的个数一致，例如，本发明其中一个实施例中，热成像采集装置被分成两个节点部署在模拟机驾驶舱内，分区域采集机组操纵动作，则会生成两通道的图片，即两组图片。
基于OpenCV的SURF算法对多组切片图片提取特征点，基于提取的特征点对多组切片图片进行匹配；
将匹配之后的切片图片进行图像配准、图像拷贝及图像融合，实现多组图片的拼接融合。
由于基于OpenCV的SURF算法属于现有技术，而对图像根据特征点进行配准，拷贝及融合都是图像处理领域的惯用技术手段，因此对这方面本发明不做过多赘述。
参照图3、图3为本发明实施例的获取第二阶段图片方法的流程示意图，包括：
识别第一阶段图片的驾驶舱区域标识信息，需要说明的是，驾驶舱区域标识信息根据驾驶舱中操纵区域的大小和多少可以任意设置，一般会设置多个，多个为2个，3个，5个或者10个等；
基于驾驶舱区域标识信息构建空间坐标系，空间坐标系的数量与驾驶舱区域标识信息的数量相等，需要说明的是，由于驾驶舱空间内呈圆弧形，如果建立统一坐标系，一个球面坐标系或一个直角坐标系，不仅不利于问题的分析，还会把简单的问题复杂化，因此，以驾驶舱区域标识信息构建空间坐标系，如以驾驶舱区域标识信息的位置为原点建立坐标系，计算驾驶舱操纵区域内的操作装置位于该坐标系内的坐标范围能够精准的判断该操作装置是否被正确操作。
根据坐标范围，将操纵区域以设定形式标记至第一阶段图片中，得到第二阶段图片，第二阶段图片将驾驶舱操纵区域的设备和机组人员的操作动作建立了连接，需要说明的是，本发明中的设定形式可以是用带颜色的框圈定操纵区域，也可以以高亮带有透明度的形式显示操纵区域，只要能使操纵区域在第一阶段图片中明显显示，都属于本发明的保护范围。
图4为本发明实施例的建立空间坐标系方法的流程示意图，包括：
识别驾驶舱区域标识信息在第一阶段图片中的位置；
以标识信息的位置为原点建立空间坐标系，空间坐标系包括第一坐标系、第二坐标系及第三坐标系，其中，第一坐标系为顶板坐标系，第二坐标系为遮光板和主仪表板坐标系，第三坐标系为中控台坐标系。
图5是本发明实施例的建立空间坐标系的效果示意图，具体的，采用红外自发光的二维码为定位装置，产生位置标识信息，在昏暗驾驶舱内可被视频采集设备有效识别而不影响飞行员操纵，每个操纵区域会分配不同的二维码作为唯一标识，实现二维空间的精准定位。
在本发明一些具体的实施例中，采用了三套定位装置，参照图9，定位装置1位于头顶板左上角，定位装置2位于遮光板左上角，定位装置3位于中央操纵台右下角。如图5，以定位装置P为原点，即P1、P2和P3为原点，并以1920，1080为定位分辨率和坐标轴的取值范围，建立XY轴坐标系。其中头顶板独立一套坐标系，遮光板以及主仪表板共用一套坐标系，中控台一套坐标系。
根据每个区域的顶点相对于定位装置(坐标原点)的坐标计算每条边的直线方程以及不等式，从而构建每个区域的不等式组。采用线性规划方法圈定操纵区域，操纵区域包括头顶板，遮光板，仪表板(细分为左座仪表、右座仪表以及飞机电子中央监视器ECAM)，中央操纵台(细分为上下两部分)，各个操纵区域的不等式组如下：
得到了各个操纵区域在空间坐标系的坐标范围，每个操纵区域内的按钮的坐标范围也可以唯一的确定。
在本发明一些实施例中，驾驶舱区域标识信息为红外感应二维码信息。
参照图6、图6为本发明实施例的生成时序热成像视频方法的流程示意图，包括：
按照预设帧频合成第二阶段图片，得到时序视频，预设帧频可以根据具体情况具体设置，此处优选设置为30fps；
通过对时序视频插入驾驶舱内部音频数据，得到时序热成像视频；
对时序热成像视频按照飞行操纵动作的场次进行编号，并以编号为索引值存储时序热成像视频。
图7为本发明实施例的生成操纵热力图方法的流程示意图，包括：
按照预设帧频合成第二阶段图片，得到时序视频预设帧频可以根据具体情况具体设置，此处优选设置为30fps；
识别时序视频中的关键飞行阶段，关键飞行阶段包括飞机起飞阶段，飞机降落阶段以及飞机遇到不稳定气流阶段，需要说明的是，本发明在此并未列出所有在飞机驾驶中的关键阶段，在实际驾驶中，认为有飞行价值的阶段均可以作为关键阶段进行识别；
分别提取关键飞行阶段的时序视频生成对应的关键阶段视频，通过对关键阶段视频以预设帧频执行切片操作，生成一组对应的关键阶段热力切片图；
通过对一组对应的关键阶段热力切片图根据操纵区域，执行图像合成叠加操作，生成一张对应的操纵热力图，操纵热力图包括与之对应的关键飞行阶段中采集的所有飞行操纵动作数据的轨迹信息；
对操纵热力图按照飞行操纵动作的场次进行编号，并以编号为索引值存储操纵热力图。
具体的，按照30fps的帧率将带有驾驶舱区域标识的图片生成时序视频，将训练时间转换为电脑时间，并以时间轴的形式展现，识别关键阶段，并对关键阶段进行标注，可以以拖动时间轴的形式实现对起飞、着陆等关键飞行阶段的标注，获取关键阶段的开始与结束时间，并完成对该时间段内图片的叠加，最终生成一张操纵热力图，操纵热力图包括与之对应的关键飞行阶段中采集的所有飞行操纵动作数据的轨迹信息，将时序视频以及操纵热力图按照场次编号分组存储至数据中心，供用户通过移动终端调用查看，保存期限可以根据具体情况设置，一般设置为3个月。
图8为本发明实施例的系统的模块示意图，包括：
热成像采集装置，热成像采集装置位于模拟机驾驶舱内，用于分区域采集机组飞行操纵动作数据并生成热成像视频；
视频生成与图像化工作站，接收热成像采集装置采集的热成像视频及驾驶舱音频信号，对接收到的热成像视频进行分解和融合，生成第一阶段图片，第一阶段图片中还包括驾驶舱区域标识信息；
驾驶舱区域标识计算机，用于基于驾驶舱区域标识信息构建空间坐标系，通过空间坐标系划定驾驶舱操纵区域并将操纵区域标记至第一阶段图片，生成第二阶段图片；以及生成驾驶舱区域图，实现对机组操纵区域的定位；
关键阶段划定计算机，用于根据第二阶段图片生成时序视频，对时序视频标记飞行关键阶段信息；
时序视频与操纵热力图生成工作站，接收驾驶舱区域标识计算机生成的驾驶舱区域图，以及，接收关键阶段划定计算机生成的包含有关键阶段信息的时序视频，生成时序热成像视频及操纵热力图；
结果数据中心服务器，用于接收时序热成像视频及操纵热力图并分组存储。
具体的，热成像采集装置分成两个节点部署在模拟机驾驶舱内，分区域采集机组操纵动作；热成像采集装置通过RCA模拟音频接口以及S端子与视频生成与图像化工作站连接，将采集到的热成像视频以及驾驶舱音频传输至视频生成与图像化工作站；视频生成与图像化工作站至时序视频与操纵热力图生成工作站安装部署在计算机机房，通过交换机构建的局域网络互相访问；其中驾驶舱区域标识计算机生成的图像保存至时序视频与操纵热力图生成工作站，时序视频与操纵热力图生成工作站从关键阶段划定计算机获取阶段划定信息，时序视频与操纵热力图生成工作站生成的时序视频以及操纵热力图按照场次分组保存至结果数据中心服务器；整个系统与外部网络之间有专属的防火墙实现安全保障，用户通过手持终端与结果数据中心服务器通信获取数据进行航后讲评与数据回看。
图9为本发明实施例的热成像采集装置部署示意图，图中包括：
多个热成像装置，多个热成像装置分别部署于机舱中的不同操控区域，用于全面采集飞行操纵动作数据，具体的，以A320驾驶舱为部署模板，可以部署两个热成像装置，其中热成像装置1用于收集发生在位于遮光板(FCU、EFIS Control等)，主仪表板(PFD、ND、ECAM等)，中央操纵台(MCDU、推力手柄、襟翼、减速板等)的操纵动作；热成像装置2用于收集发生在位于头顶板(发动机、燃油、电源、空调、APU等)区域的操纵动作；
录音装置，录音装置部署于中央操纵台边缘，用于收集驾驶舱环境声音、模拟机系统声音以及机组对话声音；
多个定位装置，定位装置为红外感应二维码，分别部署于机舱中的不同操控区域，用于对机舱中的不同操控区域进行二维空间定位，具体的，定位装置1位于头顶板左上角，定位装置2位于遮光板左上角，定位装置3位于中央操纵台右下角。
图10为本发明实施例的方法的流程示意图之二，包括：
系统上电自检：检查热成像采集装置是否在线以及运行状态是否良好，系统各节点之间通信是否正常等；
模拟机运动平台升起：运动平台升起是全动模拟机开始训练的信号，通过该信号触发热成像采集装置启动工作；
热成像视频压缩录制与驾驶舱音频记录：通过安装在视频生成与图像化工作站上面的视频压缩卡实时将热成像流媒体数据压缩录制成mp4格式的视频，同时录制驾驶舱内的环境声音(包括机组对话，系统告警音以及发动机声音等)；
模拟机运动平台放下：运动平台放下是全动模拟机训练结束的信号，通过该信号驱动热成像采集装置停止工作以及热成像视频的完整生成；
热成像视频图片化处理：以30HZ的固定帧率以及1920*1080的尺寸切分视频形成图片；由于热成像采集装置被分成两个节点部署在模拟机驾驶舱内，分区域采集机组操纵动作，所以会生成两通道图片；
两通道图片拼接融合：采用基于OpenCV的SURF算法经过特征点提取和匹配，图像配准，图像拷贝，图像融合实现两通道图片的拼接；
定位装置识别、空间坐标系创建以及驾驶舱区域标识：首先识别拼接后的图片中的二维码定位装置，以定位装置为原点构建三套空间坐标系，头顶板独立一套坐标系，遮光板以及主仪表板共用一套坐标系，中控台一套坐标系，保证机组的主要操纵动作能够落在所划定的区域，最终以黑色矩形框分区域标识驾驶舱，并将标识后的图片保存至时序视频与操纵热力图生成工作站；
时序视频生成：时序视频与操纵热力图生成工作站按照30fps的帧率将带有驾驶舱区域标识的图片生成时序视频；
关键阶段操纵热力图生成：系统将训练时间转换为电脑时间，并以时间轴的形式展现，供用户进行关键阶段的标注，用户在关键阶段划定计算机以拖动时间轴的形式实现对起飞、着陆等关键飞行阶段的标注；时序视频与操纵热力图生成工作站获取关键阶段的开始与结束时间，并完成对该时间段内图片的叠加，最终生成一张操纵热力图；
时序视频与热力图分组存储：将上面两步骤生成的时序视频以及操纵热力图按照场次编号分组存储至数据中心，供用户通过移动终端调用查看。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.一种基于红外热成像的飞行操纵动作监控方法，其特征在于，包括以下步骤：
S100、采集飞行操纵动作数据，基于所述飞行操纵动作数据生成热成像视频，通过对所述热成像视频执行分片操作，生成第一阶段图片，所述第一阶段图片中包括驾驶舱区域标识信息；
S200、基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域，并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；
S300、根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息，根据所述飞行关键阶段信息生成操纵热力图。
2.根据权利要求1所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S100还包括：
S110、接收多台热成像采集装置采集的基于所述飞行操纵动作的多组热成像数据，接收驾驶舱内部音频数据；
S120、通过对多组热成像数据执行压缩操作，生成多组固定格式的视频文件；
S130、通过对多组视频文件以预设帧频及预设尺寸执行切片操作，生成多组切片图片；
S140、对多组切片图片执行拼接融合操作，得到第一阶段图片。
3.根据权利要求2所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述对多组切片图片执行拼接融合操作，包括：
基于OpenCV的SURF算法对多组切片图片提取特征点，基于提取的特征点对多组切片图片进行匹配；
将匹配之后的切片图片进行图像配准、图像拷贝及图像融合，实现多组图片的拼接融合。
4.根据权利要求1所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S200包括：
S210、识别所述第一阶段图片的驾驶舱区域标识信息；
S220、基于所述驾驶舱区域标识信息构建空间坐标系，所述空间坐标系的数量与所述驾驶舱区域标识信息的数量相等；
S230、基于所述空间坐标系确定所述驾驶舱操纵区域的坐标范围；
S240、根据所述坐标范围，将所述操纵区域以设定形式标记至所述第一阶段图片中，得到第二阶段图片。
5.根据权利要求4所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S220包括：
S221、识别所述驾驶舱区域标识信息在所述第一阶段图片中的位置；
S222、以所述位置为原点建立空间坐标系，所述空间坐标系包括第一坐标系、第二坐标系及第三坐标系，其中，第一坐标系为顶板坐标系，第二坐标系为遮光板和主仪表板坐标系，第三坐标系为中控台坐标系。
6.根据权利要求4或5所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述驾驶舱区域标识信息为红外感应二维码信息。
7.根据权利要求2所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S300还包括：
按照预设帧频合成所述第二阶段图片，得到时序视频；
通过对所述时序视频插入所述驾驶舱内部音频数据，得到时序热成像视频；
对所述时序热成像视频按照所述飞行操纵动作的场次进行编号，并以所述编号为索引值存储所述时序热成像视频。
8.根据权利要求2所述的基于红外热成像的飞行操纵动作监控方法，其特征在于，所述步骤S300还包括：
按照预设帧频合成所述第二阶段图片，得到时序视频；
识别所述时序视频中的关键飞行阶段，所述关键飞行阶段包括飞机起飞阶段、飞机降落阶段以及特情阶段，所述特情阶段包括突发系统故障、突发机械故障及特殊飞行科目；
分别提取所述关键飞行阶段的时序视频生成对应的关键阶段视频，通过对所述关键阶段视频以所述预设帧频执行切片操作，生成一组对应的关键阶段热力切片图；
通过对一组对应的关键阶段热力切片图，根据所述操纵区域，执行图像合成叠加操作，生成一张对应的操纵热力图，所述操纵热力图包括对应的关键飞行阶段中采集的所有飞行操纵动作数据在驾驶舱操纵区域的分布情况及轨迹信息；
按照所述飞行操纵动作的场次对所述操纵热力图进行编号，并以所述编号为索引值存储所述操纵热力图。
9.一种基于红外热成像的飞行操纵动作监控系统，包括权利要求1至8中任一项所述的方法，其特征在于，还包括：
热成像采集装置，位于模拟机驾驶舱内，用于分区域采集机组飞行操纵动作数据并生成热成像视频；
视频生成与图像化工作站，用于接收所述热成像采集装置采集的热成像视频及驾驶舱音频信号，对接收到的所述热成像视频进行分解和融合，生成第一阶段图片，所述第一阶段图片中还包括驾驶舱区域标识信息；
驾驶舱区域标识计算机，用于基于所述驾驶舱区域标识信息构建空间坐标系，通过所述空间坐标系划定驾驶舱操纵区域并将所述操纵区域标记至所述第一阶段图片，生成第二阶段图片；以及生成驾驶舱区域图，实现对机组操纵区域的定位；
关键阶段划定计算机，用于根据所述第二阶段图片生成时序视频，对所述时序视频标记飞行关键阶段信息；
时序视频与操纵热力图生成工作站，用于接收所述驾驶舱区域标识计算机生成的所述驾驶舱区域图，以及，接收所述关键阶段划定计算机生成的包含有关键阶段信息的时序视频，生成时序热成像视频及操纵热力图；
结果数据中心服务器，用于接收并分组存储所述时序热成像视频及所述操纵热力图。
10.根据权利要求9所述的基于红外热成像的飞行操纵动作监控系统，其特征在于，所述热成像采集装置包括：
多个热成像装置，分别部署于机舱中的不同操控区域，用于全面采集飞行操纵动作数据；
录音装置，部署于中央操纵台边缘，用于收集驾驶舱环境声音、模拟机系统声音以及机组对话声音；
多个定位装置，所述定位装置为红外感应二维码，分别部署于机舱中的不同操控区域，用于对机舱中的不同操控区域进行二维空间定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060279.2A CN112884807B (zh) | 2021-01-18 | 2021-01-18 | 基于红外热成像的飞行操纵动作监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110060279.2A CN112884807B (zh) | 2021-01-18 | 2021-01-18 | 基于红外热成像的飞行操纵动作监控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884807A true CN112884807A (zh) | 2021-06-01 |
| CN112884807B CN112884807B (zh) | 2024-02-27 |
Family
ID=76048803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110060279.2A Active CN112884807B (zh) | 2021-01-18 | 2021-01-18 | 基于红外热成像的飞行操纵动作监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884807B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1521655A (zh) * | 2003-01-28 | 2004-08-18 | 中国南方航空股份有限公司 | 一种航空模拟机训练的计算机辅助教学系统及其方法 |
| CN106184787A (zh) * | 2016-07-14 | 2016-12-07 | 科盾科技股份有限公司北京分公司 | 具有辅助驾驶系统的飞行器及其起降及避免碰撞的方法 |
| CN206087309U (zh) * | 2016-08-31 | 2017-04-12 | 田甜 | 一种飞行监控系统 |
| RU2647345C1 (ru) * | 2016-12-19 | 2018-03-15 | Анатолий Михайлович Качалин | Комплексная система дистанционного обучения пилотированию летательных аппаратов |
| KR20200098312A (ko) * | 2019-02-12 | 2020-08-20 | 한국항공우주산업 주식회사 | Vr을 이용한 다기종 비행 훈련 시뮬레이터 |
-
2021
- 2021-01-18 CN CN202110060279.2A patent/CN112884807B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1521655A (zh) * | 2003-01-28 | 2004-08-18 | 中国南方航空股份有限公司 | 一种航空模拟机训练的计算机辅助教学系统及其方法 |
| CN106184787A (zh) * | 2016-07-14 | 2016-12-07 | 科盾科技股份有限公司北京分公司 | 具有辅助驾驶系统的飞行器及其起降及避免碰撞的方法 |
| CN206087309U (zh) * | 2016-08-31 | 2017-04-12 | 田甜 | 一种飞行监控系统 |
| RU2647345C1 (ru) * | 2016-12-19 | 2018-03-15 | Анатолий Михайлович Качалин | Комплексная система дистанционного обучения пилотированию летательных аппаратов |
| KR20200098312A (ko) * | 2019-02-12 | 2020-08-20 | 한국항공우주산업 주식회사 | Vr을 이용한 다기종 비행 훈련 시뮬레이터 |
Non-Patent Citations (1)
| Title |
|---|
| 孙丽卿;张国峰;王行仁;: "无人机仿真训练系统", 计算机仿真, vol. 23, no. 2, pages 44 - 46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884807B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dini et al. | Application of augmented reality techniques in through-life engineering services | |
| De Crescenzio et al. | Augmented reality for aircraft maintenance training and operations support | |
| Neumann et al. | Cognitive, performance, and systems issues for augmented reality applications in manufacturing and maintenance | |
| US8944822B2 (en) | Synchronized video and synthetic visualization system and method | |
| EP2405402A1 (en) | Method and system for assembling components | |
| US9663242B2 (en) | Processing of aircraft alarm and maintenance messages | |
| CN105319049B (zh) | 与飞行器的飞行测试有关的数据的实时管理的系统和方法 | |
| US9836991B2 (en) | Virtual flight deck | |
| KR102504714B1 (ko) | Vr 공간 정보 기반의 선원 교육 시스템 및 방법 | |
| US20180232045A1 (en) | Contextual monitoring perspective selection during training session | |
| KR101482910B1 (ko) | 항공기용 항공정보 저장 시스템 및 그 운용 방법 | |
| CN112884807B (zh) | 基于红外热成像的飞行操纵动作监控方法及系统 | |
| CN110390484A (zh) | 一种工业作业增强现实指令设计系统及方法 | |
| US10873689B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| CA3103562C (en) | Method and system for generating an augmented reality image | |
| CN111125238B (zh) | 显示数据的处理方法及装置 | |
| Papenfuss et al. | Designing a fusion of visible and infra-red camera streams for remote tower operations | |
| US20210124371A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| CN110989837B (zh) | 一种用于邮轮体验的虚拟现实系统 | |
| Palomino et al. | AI-Powered Augmented Reality Training for Metal Additive Manufacturing | |
| Ye et al. | Research on Augmented Reality Technology in the Training of Pre-flight Safety Inspect Process | |
| EP4020401A1 (en) | Method and system for generating an augmented reality image | |
| JPS63113708A (ja) | 工作機械の故障診断方法 | |
| JPH1163990A (ja) | 航空機搭載用撮影機器の姿勢変化測定装置 | |
| Cooper | Supporting flight control for UAV-assisted wilderness search and rescue through human centered interface design |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |