CN110363144A - 一种基于图像处理技术的飞机门开关状态检测系统及方法 - Google Patents

一种基于图像处理技术的飞机门开关状态检测系统及方法 Download PDF

Info

Publication number
CN110363144A
CN110363144A CN201910641014.4A CN201910641014A CN110363144A CN 110363144 A CN110363144 A CN 110363144A CN 201910641014 A CN201910641014 A CN 201910641014A CN 110363144 A CN110363144 A CN 110363144A
Authority
CN
China
Prior art keywords
aircraft door
image frame
data
sample
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910641014.4A
Other languages
English (en)
Inventor
许伟村
黄荣顺
王旭辉
郭婧
许玉斌
荀向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Civil Aviation Science and Technology
Original Assignee
China Academy of Civil Aviation Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Civil Aviation Science and Technology filed Critical China Academy of Civil Aviation Science and Technology
Priority to CN201910641014.4A priority Critical patent/CN110363144A/zh
Publication of CN110363144A publication Critical patent/CN110363144A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明公开了一种基于图像处理技术的飞机门开关状态检测系统及方法，包括依次通信连接的视频采集系统、数据采集系统、卷积神经网络系统和飞机门状态检测系统，数据采集系统包括数据图像帧电子线划分模块和数据图像帧采集模块，卷积神经网络系统内部具有飞机门状态样本数据库，飞机门状态检测系统包括飞机门状态判断模块；视频采集系统包括若干个视频摄像头，视频采集系统用于采集视频数据并组合传输至数据采集系统。本发明通过对飞机门开关状态视频信号自动分析，判断飞机门当前的开闭情况，可以同时得到飞机门开闭状态下的开始和完成时间，以便管制人员对飞机进行持续的场面引导，为机场航班保障提供准确的时间依据。

Description

一种基于图像处理技术的飞机门开关状态检测系统及方法
技术领域
本发明涉及飞机门开关状态检测技术领域，尤其涉及一种基于图像处理技术的飞机门开关状态检测系统及方法。
背景技术
在机场飞行区的监控视频中对飞机门的开闭状态进行检测，结合预设的判断逻辑，可以对航班保障过程中飞机门开闭的开始和完成时间进行自动提取，以便机场保障人员掌握航班保障的关键进程。目前常用的门开关检测技术一般依赖接触式开关、门动开关等传感器，但很多场景中，无法在需要感知开关状态的目标门上安装传感器；通过对于此类非合作目标门的开关状态，一种常用的检测手段是利用激光或超声波等测距传感器，但是上述传感器要求传感器和被测目标之间的距离较近，且传感器对探测角度要求较高。
发明内容
针对现有技术存在的不足之处，本发明的目的在于提供一种基于图像处理技术的飞机门开关状态检测系统及方法，通过对飞机门开关状态视频信号自动分析，判断飞机门当前的开闭情况，可以同时得到飞机门开闭状态下的开始和完成时间，以便管制人员对飞机进行持续的场面引导，为机场航班保障提供准确的时间依据。
本发明的目的通过下述技术方案实现：
一种基于图像处理技术的飞机门开关状态检测系统，包括依次通信连接的视频采集系统、数据采集系统、卷积神经网络系统和飞机门状态检测系统，所述数据采集系统包括数据图像帧电子线划分模块和数据图像帧采集模块，所述卷积神经网络系统内部具有飞机门状态样本数据库，所述飞机门状态检测系统包括飞机门状态判断模块；所述视频采集系统包括若干个视频摄像头，所述视频采集系统用于采集视频数据并组合传输至数据采集系统，所述数据采集系统的数据图像帧采集模块用于对视频数据进行逐个视频图像帧采集并将视频图像帧传输至数据图像帧电子线划分模块，所述数据图像帧电子线划分模块用于对视频图像帧划设出飞机门电子线框；所述飞机门状态样本数据库用于存储有飞机门状态的样本数据，所述样本数据包括飞机门打开中样本数据、飞机门完全开启样本数据、飞机门闭合中样本数据和飞机门完全闭合样本数据；所述卷积神经网络系统用于对数据采集系统所采集到的视频图像帧与飞机门状态样本数据库的样本数据进行图像特征提取及比对处理，所述飞机门状态判断模块用于根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合。
为了更好地实现本发明飞机门开关状态检测系统，所述卷积神经网络系统用于对数据采集系统的视频图像帧提取并识别出飞机门特征区域和背景特征区域，所述卷积神经网络系统将视频图像帧的飞机门特征区域与背景特征区域传输至飞机门状态检测系统中进行对比处理。
作为优选，所述飞机门状态判断模块采用帧间差分法进行对比处理并得到飞机门状态。
作为优选，所述卷积神经网络系统对当前时刻t新输入的视频图像帧Ft，首先通过帧间差分法得到二值化后的黑白图像F帧差，将黑白图像F帧差的背景特征区域统一为黑色，将黑白图像F帧差的飞机特征区域统一为白色。
一种基于图像处理技术的飞机门开关状态检测方法，其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
一种基于图像处理技术的飞机门开关状态检测方法，其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；飞机门状态判断模块判断样本视频图像帧所处于的飞机门状态的判断方法如下：
A1、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
A2、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
A3、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
A4、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合；
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
作为优选，所述步骤A中样本视频数据包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机门状态样本数据，其中夜间天气情况下的飞机门状态样本数据占比不少于10％，其中雨雪天气情况下的飞机门状态样本数据占比不少于10％，其中雾或雾霾天气情况下的飞机门状态样本数据占比不少于10％，其中沙尘天气情况下的飞机门状态样本数据占比不少于10％。
作为优选，所述飞机门状态样本数据库的样本视频图像帧的图片数量不少于一万张，同种类的飞机门在不同开启状态下的图片数量相同。
本发明较现有技术相比，具有以下优点及有益效果：
本发明通过对飞机门开关状态视频信号自动分析，判断飞机门当前的开闭情况，可以同时得到飞机门开闭状态下的开始和完成时间，以便管制人员对飞机进行持续的场面引导，为机场航班保障提供准确的时间依据。
附图说明
图1为本发明的原理结构框图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例一
如图1所示，一种基于图像处理技术的飞机门开关状态检测系统，包括依次通信连接的视频采集系统、数据采集系统、卷积神经网络系统和飞机门状态检测系统，所述数据采集系统包括数据图像帧电子线划分模块和数据图像帧采集模块，所述卷积神经网络系统内部具有飞机门状态样本数据库，所述飞机门状态检测系统包括飞机门状态判断模块；所述视频采集系统包括若干个视频摄像头，所述视频采集系统用于采集视频数据并组合传输至数据采集系统，所述数据采集系统的数据图像帧采集模块用于对视频数据进行逐个视频图像帧采集并将视频图像帧传输至数据图像帧电子线划分模块，所述数据图像帧电子线划分模块用于对视频图像帧划设出飞机门电子线框；所述飞机门状态样本数据库用于存储有飞机门状态的样本数据，所述样本数据包括飞机门打开中样本数据、飞机门完全开启样本数据、飞机门闭合中样本数据和飞机门完全闭合样本数据；所述卷积神经网络系统用于对数据采集系统所采集到的视频图像帧与飞机门状态样本数据库的样本数据进行图像特征提取及比对处理，所述飞机门状态判断模块用于根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合。
本实施例优选的卷积神经网络系统用于对数据采集系统的视频图像帧提取并识别出飞机门特征区域和背景特征区域，所述卷积神经网络系统将视频图像帧的飞机门特征区域与背景特征区域传输至飞机门状态检测系统中进行对比处理。
本实施例优选的飞机门状态判断模块采用帧间差分法进行对比处理并得到飞机门状态。
本实施例优选的卷积神经网络系统对当前时刻t新输入的视频图像帧Ft，首先通过帧间差分法得到二值化后的黑白图像F帧差，将黑白图像F帧差的背景特征区域统一为黑色，将黑白图像F帧差的飞机特征区域统一为白色。
一种基于图像处理技术的飞机门开关状态检测方法，其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；本实施例中样本视频数据包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机门状态样本数据，其中夜间天气情况下的飞机门状态样本数据占比不少于10％，其中雨雪天气情况下的飞机门状态样本数据占比不少于10％，其中雾或雾霾天气情况下的飞机门状态样本数据占比不少于10％，其中沙尘天气情况下的飞机门状态样本数据占比不少于10％。本实施例中飞机门状态样本数据库的样本视频图像帧的图片数量不少于一万张，同种类的飞机门在不同开启状态下的图片数量相同。
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框。所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘(飞机门完全开启特征边缘为飞机门完全开启时反应到飞机门电子线框上的视频图像帧的飞机门特征区域所在一侧，即当飞机门的开闭状态从飞机门打开中运动至飞机门完全开启时，数据采集系统所采集视频图像帧的飞机门特征区域会集中在飞机门电子线框的其中一侧，则该侧边缘就为飞机门完全开启特征边缘)，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘(飞机门完毕闭合特征边缘为飞机门完全闭合时反应到飞机门电子线框上的视频图像帧的飞机门特征区域所在一侧，即当飞机门的开闭状态从飞机门闭合中运动至飞机门完全闭合时，数据采集系统所采集视频图像帧的飞机门特征区域会集中在飞机门电子线框的其中一侧，则该侧边缘就为飞机门完全闭合特征边缘)；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
实施例二
如图1所示，一种基于图像处理技术的飞机门开关状态检测系统，包括依次通信连接的视频采集系统、数据采集系统、卷积神经网络系统和飞机门状态检测系统，所述数据采集系统包括数据图像帧电子线划分模块和数据图像帧采集模块，所述卷积神经网络系统内部具有飞机门状态样本数据库，所述飞机门状态检测系统包括飞机门状态判断模块；所述视频采集系统包括若干个视频摄像头，所述视频采集系统用于采集视频数据并组合传输至数据采集系统，所述数据采集系统的数据图像帧采集模块用于对视频数据进行逐个视频图像帧采集并将视频图像帧传输至数据图像帧电子线划分模块，所述数据图像帧电子线划分模块用于对视频图像帧划设出飞机门电子线框；所述飞机门状态样本数据库用于存储有飞机门状态的样本数据，所述样本数据包括飞机门打开中样本数据、飞机门完全开启样本数据、飞机门闭合中样本数据和飞机门完全闭合样本数据；所述卷积神经网络系统用于对数据采集系统所采集到的视频图像帧与飞机门状态样本数据库的样本数据进行图像特征提取及比对处理，所述飞机门状态判断模块用于根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合。
本实施例优选的卷积神经网络系统用于对数据采集系统的视频图像帧提取并识别出飞机门特征区域和背景特征区域，所述卷积神经网络系统将视频图像帧的飞机门特征区域与背景特征区域传输至飞机门状态检测系统中进行对比处理。
本实施例优选的飞机门状态判断模块采用帧间差分法进行对比处理并得到飞机门状态。
本实施例优选的卷积神经网络系统对当前时刻t新输入的视频图像帧Ft，首先通过帧间差分法得到二值化后的黑白图像F帧差，将黑白图像F帧差的背景特征区域统一为黑色，将黑白图像F帧差的飞机特征区域统一为白色。
一种基于图像处理技术的飞机门开关状态检测方法，其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；飞机门状态判断模块判断样本视频图像帧所处于的飞机门状态的判断方法如下：
A1、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
A2、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
A3、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
A4、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合；
本实施例中样本视频数据包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机门状态样本数据，其中夜间天气情况下的飞机门状态样本数据占比不少于10％，其中雨雪天气情况下的飞机门状态样本数据占比不少于10％，其中雾或雾霾天气情况下的飞机门状态样本数据占比不少于10％，其中沙尘天气情况下的飞机门状态样本数据占比不少于10％。本实施例中飞机门状态样本数据库的样本视频图像帧的图片数量不少于一万张，同种类的飞机门在不同开启状态下的图片数量相同。
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘(飞机门完全开启特征边缘为飞机门完全开启时反应到飞机门电子线框上的视频图像帧的飞机门特征区域所在一侧，即当飞机门的开闭状态从飞机门打开中运动至飞机门完全开启时，数据采集系统所采集视频图像帧的飞机门特征区域会集中在飞机门电子线框的其中一侧，则该侧边缘就为飞机门完全开启特征边缘)，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘(飞机门完毕闭合特征边缘为飞机门完全闭合时反应到飞机门电子线框上的视频图像帧的飞机门特征区域所在一侧，即当飞机门的开闭状态从飞机门闭合中运动至飞机门完全闭合时，数据采集系统所采集视频图像帧的飞机门特征区域会集中在飞机门电子线框的其中一侧，则该侧边缘就为飞机门完全闭合特征边缘)；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
所述步骤A中样本视频数据包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机门状态样本数据，其中夜间天气情况下的飞机门状态样本数据占比不少于10％，其中雨雪天气情况下的飞机门状态样本数据占比不少于10％，其中雾或雾霾天气情况下的飞机门状态样本数据占比不少于10％，其中沙尘天气情况下的飞机门状态样本数据占比不少于10％。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像处理技术的飞机门开关状态检测系统，其特征在于：包括依次通信连接的视频采集系统、数据采集系统、卷积神经网络系统和飞机门状态检测系统，所述数据采集系统包括数据图像帧电子线划分模块和数据图像帧采集模块，所述卷积神经网络系统内部具有飞机门状态样本数据库，所述飞机门状态检测系统包括飞机门状态判断模块；所述视频采集系统包括若干个视频摄像头，所述视频采集系统用于采集视频数据并组合传输至数据采集系统，所述数据采集系统的数据图像帧采集模块用于对视频数据进行逐个视频图像帧采集并将视频图像帧传输至数据图像帧电子线划分模块，所述数据图像帧电子线划分模块用于对视频图像帧划设出飞机门电子线框；所述飞机门状态样本数据库用于存储有飞机门状态的样本数据，所述样本数据包括飞机门打开中样本数据、飞机门完全开启样本数据、飞机门闭合中样本数据和飞机门完全闭合样本数据；所述卷积神经网络系统用于对数据采集系统所采集到的视频图像帧与飞机门状态样本数据库的样本数据进行图像特征提取及比对处理，所述飞机门状态判断模块用于根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合。
2.按照权利要求1所述的一种基于图像处理技术的飞机门开关状态检测系统，其特征在于：所述卷积神经网络系统用于对数据采集系统的视频图像帧提取并识别出飞机门特征区域和背景特征区域，所述卷积神经网络系统将视频图像帧的飞机门特征区域与背景特征区域传输至飞机门状态检测系统中进行对比处理。
3.按照权利要求1所述的一种基于图像处理技术的飞机门开关状态检测系统，其特征在于：所述飞机门状态判断模块采用帧间差分法进行对比处理并得到飞机门状态。
4.按照权利要求1所述的一种基于图像处理技术的飞机门开关状态检测系统，其特征在于：所述卷积神经网络系统对当前时刻t新输入的视频图像帧Ft，首先通过帧间差分法得到二值化后的黑白图像F帧差，将黑白图像F帧差的背景特征区域统一为黑色，将黑白图像F帧差的飞机特征区域统一为白色。
5.一种基于图像处理技术的飞机门开关状态检测方法，其特征在于：其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
6.一种基于图像处理技术的飞机门开关状态检测方法，其特征在于：其方法步骤如下：
A、得到飞机门状态样本数据库：通过视频采集系统采集机场中飞机门工作区域中的样本视频数据，样本视频数据包括飞机门打开中样本视频数据、飞机门完全开启样本视频数据、飞机门闭合中样本视频数据和飞机门完全闭合样本视频数据，视频采集系统将样本视频数据传输至数据采集系统，数据采集系统的数据图像帧采集模块对样本视频数据进行逐个样本视频图像帧采集并将样本视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对样本视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置；卷积神经网络系统将样本视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将样本视频图像帧进行二值化处理、特征统一后存储于飞机门状态样本数据库中；飞机门状态判断模块判断样本视频图像帧所处于的飞机门状态的判断方法如下：
A1、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
A2、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
A3、若样本视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
A4、若样本视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合；
B、通过视频采集系统采集机场中飞机门工作区域中的实时视频数据，视频采集系统将实时视频数据并传输至数据采集系统，数据采集系统的数据图像帧采集模块对实时视频数据进行逐个实时视频图像帧采集并将实时视频图像帧传输至数据图像帧电子线划分模块中，数据图像帧电子线划分模块对实时视频图像帧划设出飞机门电子线框，所述飞机门电子线框对应样本视频图像帧中的飞机门位置，飞机门电子线框的一侧边缘为飞机门完全开启特征边缘，飞机门电子线框的另一侧边缘为飞机门完毕闭合特征边缘；卷积神经网络系统将实时视频图像帧进行提取并识别得到飞机门特征区域和背景特征区域，并将实时视频图像帧进行二值化处理、特征统一后与存储于飞机门状态样本数据库中的样本视频图像帧进行图像特征提取及比对处理；
C、得出飞机门状态数据，通过飞机门状态判断模块根据飞机门状态样本数据库的样本数据通过图像特征提取、比对处理、逻辑判断得出飞机门的开闭状态，飞机门的开闭状态依次包括飞机门打开中、飞机门完全开启、飞机门闭合中和飞机门完全闭合；飞机门状态判断模块的飞机门状态判断方法如下：
C1、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框中心位置朝向飞机门电子线框边缘位置方向移动时，则判定飞机门的开闭状态为飞机门打开中；
C2、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框边缘位置时，则判定飞机门的开闭状态为飞机门完全开启；
C3、若实时视频图像帧的飞机门特征区域中心线从飞机门电子线框边缘位置朝向飞机门电子线框中心位置方向移动时，则判定飞机门的开闭状态为飞机门闭合中；
C4、若实时视频图像帧的飞机门特征区域中心线连续M秒处于飞机门电子线框中心位置附近时，则判定飞机门的开闭状态为飞机门完全闭合。
7.按照权利要求5或6所述的一种基于图像处理技术的飞机门开关状态检测方法，其特征在于：所述步骤A中样本视频数据包括夜间、雨雪、雾或雾霾、沙尘天气情况下的飞机门状态样本数据，其中夜间天气情况下的飞机门状态样本数据占比不少于10％，其中雨雪天气情况下的飞机门状态样本数据占比不少于10％，其中雾或雾霾天气情况下的飞机门状态样本数据占比不少于10％，其中沙尘天气情况下的飞机门状态样本数据占比不少于10％。
8.按照权利要求5或6所述的一种基于图像处理技术的飞机门开关状态检测方法，其特征在于：所述飞机门状态样本数据库的样本视频图像帧的图片数量不少于一万张，同种类的飞机门在不同开启状态下的图片数量相同。
CN201910641014.4A 2019-07-16 2019-07-16 一种基于图像处理技术的飞机门开关状态检测系统及方法 Pending CN110363144A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641014.4A CN110363144A (zh) 2019-07-16 2019-07-16 一种基于图像处理技术的飞机门开关状态检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641014.4A CN110363144A (zh) 2019-07-16 2019-07-16 一种基于图像处理技术的飞机门开关状态检测系统及方法

Publications (1)

Publication Number Publication Date
CN110363144A true CN110363144A (zh) 2019-10-22

Family

ID=68219565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641014.4A Pending CN110363144A (zh) 2019-07-16 2019-07-16 一种基于图像处理技术的飞机门开关状态检测系统及方法

Country Status (1)

Country Link
CN (1) CN110363144A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347862A (zh) * 2020-10-20 2021-02-09 浙江新再灵科技股份有限公司 一种基于机器视觉的电梯门故障实时检测方法
CN113158795A (zh) * 2021-03-16 2021-07-23 中国人民解放军63660部队 一种平流层飞艇阀门作动状态检测方法
CN115063362A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 配电箱门检测方法、系统、电子设备、介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2442673A (en) * 2005-08-03 2008-04-09 Honeywell Int Inc Boolean complement methods and systems for video image processing a region of interest
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN109033993A (zh) * 2018-06-29 2018-12-18 南京行者易智能交通科技有限公司 一种图像识别检测开关门的方法及装置
CN109255330A (zh) * 2018-09-10 2019-01-22 合肥巨清信息科技有限公司 一种基于视频监控的飞机货舱门开启关闭自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2442673A (en) * 2005-08-03 2008-04-09 Honeywell Int Inc Boolean complement methods and systems for video image processing a region of interest
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN109033993A (zh) * 2018-06-29 2018-12-18 南京行者易智能交通科技有限公司 一种图像识别检测开关门的方法及装置
CN109255330A (zh) * 2018-09-10 2019-01-22 合肥巨清信息科技有限公司 一种基于视频监控的飞机货舱门开启关闭自动检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347862A (zh) * 2020-10-20 2021-02-09 浙江新再灵科技股份有限公司 一种基于机器视觉的电梯门故障实时检测方法
CN113158795A (zh) * 2021-03-16 2021-07-23 中国人民解放军63660部队 一种平流层飞艇阀门作动状态检测方法
CN113158795B (zh) * 2021-03-16 2022-07-12 中国人民解放军63660部队 一种平流层飞艇阀门作动状态检测方法
CN115063362A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 配电箱门检测方法、系统、电子设备、介质和程序产品

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN106203265B (zh) 一种施工扬尘污染源自动监测及影响范围预测系统及方法
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN110363144A (zh) 一种基于图像处理技术的飞机门开关状态检测系统及方法
CN104966045B (zh) 基于视频的飞机进出泊位自动检测方法
CN112101088B (zh) 一种无人机电力自动巡检方法、装置及系统
CN110487562A (zh) 一种用于无人驾驶的车道保持能力检测系统及方法
CN102509291B (zh) 基于无线网络视频传感器的公路路面病害检测及识别方法
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN110297498A (zh) 一种基于无线充电无人机的轨道巡检方法及系统
CN105759834A (zh) 一种主动捕获低空小型无人飞行器的系统及方法
CN108168706B (zh) 一种监测低空无人飞行器的多谱红外成像检测跟踪系统
CN109176513B (zh) 一种智能巡检机器人的巡检方法及巡检系统
CN104834920A (zh) 一种无人机多光谱图像的智能林火识别方法及装置
CN106339657B (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110210427A (zh) 一种基于图像处理技术的廊桥工作状态检测系统及方法
CN105139429B (zh) 一种基于火焰显著图和空间金字塔直方图的火灾检测方法
CN103646250A (zh) 基于距离图像头肩特征的行人监测方法及装置
CN108037543B (zh) 一种监测低空无人飞行器的多谱红外成像检测跟踪方法
CN112364707B (zh) 一种智能车对复杂路况进行超视距感知的系统及方法
CN104239905A (zh) 运动目标识别方法及具有该功能的电梯智能计费系统
CN109241902A (zh) 一种基于多尺度特征融合的山体滑坡检测方法
CN110211159A (zh) 一种基于图像视频处理技术的飞机位置检测系统及方法
WO2023221425A1 (zh) 一种用于船舶过闸安全检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022

RJ01 Rejection of invention patent application after publication