CN113194589B - 一种基于视频分析的机场助航灯光单灯故障监视方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的机场助航灯光单灯故障监视方法，包括以下步骤：S1:利用摄像机对助航灯分区域、分组编号，获取位置信息，并且根据获取每组监控节点助航灯正常状态下的图像信息，完成样本采集；S2:获取助航灯灯光的视频图像信息，并对视频数据进行处理解析，解析成逐帧的图像，得到不同时间点的目标图像；S3:判断在目标图像中是否检测到助航灯状态信息；S4:根据所述位置编号获得与每个编号对应的助航灯图像信息，对图像信息进行灯光特征提取，获得在目标图像中各个助航灯的亮度状态特征；S5:与已存所有助航灯的亮度进行匹配判断，获得助航灯的亮度状态结果。本发明可以提高助航灯故障监视的效率，同时可获取故障灯位置信息。

Description

一种基于视频分析的机场助航灯光单灯故障监视方法

技术领域：

本发明涉及一种机场助航灯光系统的监控技术。

背景技术：

跑道灯光系统、滑行道灯光系统、进近灯光系统作为机场助航灯光系统的主要组成部分，各自都有不同的功能和作用，每个部分在飞机起降的不同阶段都起着重要作用，不可相互取代。如果助航灯光系统被损坏或者无法正常工作，那么夜间或者恶劣天气环境下飞机的着陆就缺乏有力保障，飞机的飞行就存在巨大的安全隐患，极易发生意外，必须停止飞行活动，关闭机场。所以如果进行夜间飞行，必须配备机场助航灯光系统，并且要保证机场助航灯光系统的正常运行，这样飞行员才能获得准确的当前地面跑道的有用信息，从而保障整个飞行活动正常进行。

传统的机场助航灯光监视系统是通过人工巡检的方式，需要大量的人员进行维护和巡视，效率较低,不仅如此，人工巡检更重要的是与飞机飞行有冲突，只有等夜航结束才能进行，一旦发生故障,很难及时进行排除和维修。目前，随着机场客流量的增加、班次的不断增多，若出现较大数量的灯具故障，则会对飞机安全造成影响。

国内外对于助航灯监控系统的研究主要差别在于数据传输方面，对于助航灯光故障监视的研究较少，现有监控系统中大都在隔离变压器与灯泡间安装检测电路，通过电流和电压值对助航灯光状态进行判定。

在助航灯光监控方面相关现有技术如下：

1、助航灯光健康状态监控与预测的研究(田坤.中国民航大学,2017.)：该文章中从软硬件两个方面对监控系统设计进行了设计。为了检测灯具两端短路、开路以及灯箱进水情况，设计了状态信息采集电路。采用无线传感器网络作为技术支撑，完成各节点通信模块的软硬件设计，实现了灯具状态信息的可靠传输。完成了助航灯监控平台的设计，实现了进近区灯光系统巡检、历史数据查询等功能。其中对助航灯光单灯监控系统进行设计，在对灯光状态检测模块，根据灯具两端的电压值来判定灯具是否故障。

2、基于电力线载波通信技术的助航灯光监控系统及方法(CN110264695A):所提供的助航灯光监控系统，其中，助航灯具控制器与所述助航灯具电连接，通过通信链路连接通信隔离器，还通过所述隔离变压器连接通信隔离器。通过电力线载波局端设备与助航灯具控制服务器间进行通信交互，实现对助航灯具供电回路上的灯具、探测传感器、控制器等设备的工作状态监视及控制功能。

该方法主要研究了在助航灯光监控系统中通过电力载波通信技术进行数据传输，并针对市面上已有的采用电力线载波通信技术的助航监控系统的缺陷进行改进。

目前所述的现有技术，存在如下方面的不足：

一方面，机场助航灯数量多而广，灯光站每天需要等夜航结束后对灯具巡检，排查故障，耗时耗力，且准确率不高，存在安全隐患。

另一方面，助航灯光监控系统采用自动巡检方式代替人工巡检，将助航灯光状态信息经过采集、传输、处理，最后记录于数据库中，并通过灯光站监控中心可视化界面及时了解每个灯具状态信息。其中，现有技术利用传感器对于机场助航灯光故障检测，常用的3种传感方法，包括耦合变压器功耗测量法、变压器次级环路电流测量法、灯罩内光敏元件传感法等，存在以下缺点：

1、需要对原灯头部分进行一定的修改，或对现场灯罩进行一定的工程作业，因此对每个灯加装传感器装置，所需成本高；

2、施工复杂，必须在跑道停用的前提下，才可实施施工；

3、每个灯罩内安装传感器，检测点数量大，并且所有的电路都加在跑道上，易受恶劣环境影响，导致可靠性低；

4、现有监控系统中在隔离变压器与灯泡间安装检测电路对助航灯光状态进行监控，一旦检测电路发生故障，可能导致对助航灯状态的误判。

发明内容：

本发明的目的是提供一种基于视频分析的机场助航灯光单灯故障监视方法，可以解决现有技术无法实时、有效、简单快捷地获得单个助航灯的状态信息、故障灯的位置信息以及有效地对单个助航灯灯状态进行监视的技术问题。

为了解决上述技术问题，本发明所采用的技术方案如下：一种基于视频分析的机场助航灯光单灯故障监视方法，具体包括以下步骤：

S1:通过机场灯光分布图，利用摄像机对助航灯分区域、分组编号，获取单个助航灯的地理位置信息和灯光图像信息，并且根据获取的每组监控节点助航灯正常状态下的灯光图像信息，完成样本采集；

步骤S1中所述的助航灯分区域、分组编号具体为：将所述助航灯分为跑道灯光组、滑行道灯光组、进近灯光组和坡度指示灯组四组，将跑道灯光组设定为A组，滑行道灯光组设定为B组，进近灯光组设定为C组，坡度指示灯组设定为D组；

S2:获取灯光的视频数据，并对视频数据进行处理解析，解析成逐帧的图像，得到目标图像信息；

S3:对目标图像信息进行检测，判断在目标图像信息中是否检测到灯光图像信息，若是，则输出与每个灯光图像相对应的位置编号进入步骤S4；若否，则进入步骤S5；

S4:根据所述位置编号获得与每个位置编号对应的灯光图像信息，对所述灯光图像信息进行灯光特征提取，获得在目标图像信息中各个助航灯灯光的亮度状态特征；

S5:根据在目标图像中的各个助航灯灯光的亮度状态特征，与所述样本中所有助航灯灯光图像信息进行匹配判断，获得助航灯灯光状态结果。

在步骤S1中，对所述摄像机采集的灯光图像信息进行网格划分，同时对机场定义平面直角坐标系，并加入机场的地理位置信息，利用场景中目标位于地平面上的外在约束，由目标图像位置的观测值计算出局部地面坐标系，最后利用目标图像识别出的地理位置信息和定义的机场直角坐标系所表示的单个助航灯的坐标值，识别出所述单个助航灯的具体位置。

进一步地，步骤S2-S5中所述的目标图像信息为根据助航灯灯光视频数据进行处理并解析得到的不同时间点的目标图像信息。

在步骤S4中，还包括建立特征提取模型，特征提取模型为一神经网络模型，采用深度学习方法对所述模型进行训练，将设置好的灯光图像信息输入至所述模型中，所述模型输出与灯光图像信息相对应的灯光状态特征；采集单灯故障图像信息，按缺陷类型对所述图像信息进行分类标记，用标记的样本对所述模型进行训练，用训练好的模型来预测待检测的目标图像信息；通过标注工具以矩形框对所述灯光图像特征信息进行标注，获得所述灯光图像信息。

在步骤S4中获得所述灯光图像信息的同时输出与每个灯光相对应的置信度，设置置信度阈值，删除置信度低于置信度阈值的助航灯灯光图像信息。

其中，每个助航灯灯光的置信度范围为0～1，将置信度做归一化处理，从0～1归一化到0～255，生成用于表征置信度的灰度图像，根据所述置信度阈值的不同对图像进行二值化处理，对所述图像信息进行分割。

其中，置信度阈值的选取则采用迭代算法：

迭代算法的获取迭代阈值的步骤可归纳为如下：

(1)选择一个初始阈值T(j)，通常可以选择整体图像的平均灰度作为初始阈值，其中j为迭代次数，初始时j＝0；

(2)用T(j)分割图像，将图像分为两个区域C1^(j)和C2^(j)；

(3)计算两区域的平均灰度值，其中N1(j)、N2(j)为第j次迭代时区域C1和C2的像素点个数，f(x,y)表示图像中(x，y)点的灰度值；

(4)再计算新的门限值，即

(5)令j＝j+1,重复(2)～(4)，直到T(j+1)与T(j)的差值接近于0或者j达到最大的迭代次数时得到所述置信度阈值。

在步骤S5中，将在目标图像中的各个助航灯灯光的亮度状态特征，与所述样本中所有助航灯灯光图像信息进行匹配判断，若所述样本中所有助航灯灯光图像信息未匹配到目标图像中的助航灯灯光的亮度状态特征，则标记匹配失败，判断所述助航灯灯光状态为灭；若所述样本中存在任意助航灯灯光图像特征匹配到目标图像信息中的助航灯灯光特征信息，则标记匹配成功，判断灯光状态为亮。

本发明可降低人工巡查的时间成本，有效的缩短人工故障检测时间，大大的提高了机场灯光人员的工作效率，提高了机场的运行安全和运行效率。

附图说明：

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于视频分析的机场助航灯光单灯故障监视流程示意图；

图2是本发明的一种基于视频分析的机场助航灯光单灯故障监视系统的结构示意图；

图3是本发明的一种基于视频分析的机场助航灯光单灯故障监视方法流程示意图；

图4是本发明的一种基于视频分析的机场助航灯光单灯故障监视方法中助航灯光系统跑道助航灯分布示意图；

图5是本发明的一种基于视频分析的机场助航灯光单灯故障监视方法中机场定义的平面直角坐标系示意图；

图6是本发明的一种基于视频分析的机场助航灯光单灯故障监视方法中对视频数据处理解析生成的任意时间点的任意一帧图像信息；

图7是图6的任意一帧图像信息中提取的助航灯亮度特征信息。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本发明实施例为一种基于视频分析的机场助航灯光单灯故障监视方法，参见图1、2所示，本发明的硬件系统包括：灯光状态采集模块、视频通信模块、计算机控制中心；其中计算机控制中心包括视频分析模块、数据存储模块、显示模块、预警模块；所述的灯光状态采集模块为多个摄像装置组成的视频图像采集平台系统；通过视频通信模块完成所述的灯光状态采集模块与控制中心的通信交互，即通过无线网络通信方式对数据传输。通过计算机控制中心的视频分析模块对视频监视的相关参数进行正常值的设置，对视频图像信息进行采集、分析和处理；通过数据存储模块对视频监视数据信息进行存储，供调取和查看所述监控数据信息；通过显示模块直观实时观测灯光状态；预警模块在前端视频监视设备传输报警信号之后，发出警告操作。

在本实施例一中，机场灯光分布是采用高清摄像机在沿跑道左沿或右沿的安全区域内，设置图像采集点，每个摄像机安装在全方位云台上，根据需要调整摄像机的水平和俯仰角度，采用变焦光学镜头，利用跑道两边的建筑物，将摄像点的水平面提高，以增加摄像方向与水平面的角度。根据机场跑道助航灯的具体设置，设计数量合理的由多个摄像机装置组成的视频图像采集平台系统。所述灯光状态采集模块为一种分辨率高、可自动变焦、低照度、可补光、探测距离远的摄像机。

在本实施例一中，进一步地，在不影响机场安全运行的前提下采用高清摄像机，并在机场飞行区内设置视频数据采集点，同时结合单个摄像机可采集的范围和性能来确定视频数据采集点的数量。根据高清摄像机的性能，每个摄像机可采集其正前方约1000米且左右约60度的范围，但采集到的视频数据会受到外界除助航灯光之外的其他灯光的影响，因此结合本实施例中助航灯光的位置以及机场实际运行的情况，设置约20个采集点，完成对整个机场助航灯光状态的视频信息采集。

在本实施例一中，机场跑道长度为3000米，跑道中线灯间隔15米，跑道边灯间隔60米，进近灯光的间隔为50米。机场助航灯光位置示意图如图4所示：

将本实施例一中的助航灯分区域、分组编号，具体为：将所有机场助航灯分为跑道灯光组、滑行道灯光组、进近灯光组和坡度指示灯组四组，将跑道灯光组设定为A组，滑行道灯光组设定为B组，进近灯光组设定为C组，坡度指示灯组设定为D组。

在本实施例一中，进一步地，对各摄像机采集的视频图像进行网格划分，同时对机场进行定义平面直角坐标系，单位为米(m)。具体如图5所示：以跑道主降方向跑道入口中心点为原点，跑道中线延长线为x轴；垂直于跑道方向为y轴，如图4所示：根据助航灯光系统中各单灯相对设定的坐标系的位置，便可得出各单灯的坐标值，单位为米。在该平面直角坐标戏中加入机场的地理信息数据，利用场景中目标位于地平面上的外在约束，设置定位各摄像机子网络的位置基准点；测量其地理坐标，建立局部地面坐标系；设置地面参考点，测量摄像机坐标系与局部地面坐标系之间的转换关系；用各摄像机节点和地平面的投影关系，由目标图像位置的观测值计算出局部地面坐标系；最后用视频网络的地理坐标和区域内的局部地面坐标表示单个助航灯的真实地面位置。

所述的视频通信模块用于完成所述的灯光状态采集模块与控制中心的通信交互。通过无线网络通信方式对数据传输，无需更改或停用原机场设施，且不受跑道起降状态影响可及时实施维护。

所述的计算机控制中心包括视频分析模块、数据存储模块、显示模块、预警模块。其中视频分析模块用于对视频图像信息进行采集、分析和处理，相应的视频监视主机能够对视频监视的相关参数进行合理的设置；数据存储模块用于对视频监视数据信息进行存储，可对数据信息的进行调取和查看；显示模块可直观观测到机场助航灯的灯光状态，能够实时监控；预警模块在前端视频监视设备传输报警信号之后，发出警告操作，从而能够及时采取措施。

进一步地，每处摄像头固定好后，在跑道灯全部正常工作的情况下进行一次摄像采集，对采集到的图片进行分析，将照明灯在图像中的位置加以确定。优选地，采用深度学习的方法对所述模型进行训练，将设置好的图像信息输入至所述模型中，所述模型输出与图像相对应的灯光状态特征。具体地，采集单灯故障图像信息，按缺陷类型对图像进行分类标记，用标记的样本对模型进行训练，用训练好的模型来预测待检测的图像。根据在当前目标图像中各个灯光状态特征，与已存所有灯光图像特征进行匹配判断，获得当前灯光状态结果，判断单灯是否故障。

进一步地，系统在发现照明灯故障后，可进行反复多次的自动复核，然后确定无误后向值班人员发出报警。为了避免机器报警失误，系统软件在报警的同时，自动调整全方位云台将摄像机对准故障灯位置，同时放大视频图像，将报警时的故障灯图像信息存盘，供值班人员复核参考之用。值班人员可以远程操作摄像机，控制摄像机进行变焦，同时可以控制全方位云台进行转动，再次确认故障信息。这种直接为值班人员提供图像的复核方式，比传统方式要形象、准确得多。

实施例二：

根据图3所示：本发明提供一种基于视频分析的机场助航灯光单灯故障监视方法，具体包括以下步骤：

S1:通过机场灯光分布图，利用摄像机对助航灯分区域、分组编号，获取单个助航灯的地理位置信息和灯光图像信息，并且根据获取的每组监控节点助航灯正常状态下的灯光图像信息，完成样本采集；

步骤S1中所述的助航灯分区域、分组编号具体为：将所述助航灯分为跑道灯光组、滑行道灯光组、进近灯光组和坡度指示灯组四组，将跑道灯光组设定为A组，滑行道灯光组设定为B组，进近灯光组设定为C组，坡度指示灯组设定为D组；

S2:获取灯光的当前视频数据，并对当前视频数据进行处理解析，解析成逐帧的图像，得到不同时间点的目标图像信息，其中某一帧的图像信息具体如图6所示；

S3:对目标图像信息进行检测，判断在目标图像信息中是否检测到灯光图像信息，若是，则输出与每个灯光图像相对应的位置编号与对应的坐标进入步骤S4；若否，则进入步骤S5；

S4:根据所述位置编号获得与每个位置编号对应的灯光图像信息，对所述灯光图像信息进行灯光特征提取，获得在目标图像信息中各个助航灯灯光的亮度状态特征；具体如图7所示；

S5:根据在目标图像中的各个助航灯灯光的亮度状态特征，与所述样本中所有助航灯灯光图像信息进行匹配判断，获得助航灯灯光状态结果。

在本实施例二的步骤S3中，对目标图像进行助航灯状态检测，输出与每个助航灯相对应的位置编号。

在本实施例二的步骤S4中，建立特征提取模型，特征提取模型为一神经网络模型，采用深度学习方法对该模型进行训练，将设置好的图像信息输入至该模型中，输出与图像相对应的灯光状态特征。具体地，采集单灯故障图像信息，按缺陷类型对图像进行分类标记，用标记的样本对模型进行训练，用训练好的模型来预测待检测的图像。

在本实施例二的步骤S5中，将所有已存灯光图像特征分别与目标图像中的各个灯光进行匹配；若存在已存灯光图像未匹配到灯光信息，则标记匹配失败，判断灯光状态为灭；若存在已存灯光图像匹配到相应灯光信息，则标记匹配成功，判断灯光状态为亮。参见图3所示的流程图。

在本实施例二对照明灯光状态分析方法中，先对拍摄到的图像进行预处理，将图像转变为灰度图，再对图像进行图像分割，将图像中照明灯图像(亮像素)与背景图像(暗像素)完全分离。再检测正常工作时照明灯所在区域中亮像素所占的比重，判断该灯是否在正常工作。

优选地，通过标注工具以矩形框对单灯图像信息进行标注，获得单灯图像，同时输出与每个助航灯相对应的置信度，设置置信度阈值，删除置信度低于置信度阈值的图像。优选地，所述图像的置信度范围为0～1，将置信度做归一化处理，从0～1归一化到0～255，生成用于表征置信度的灰度图像，根据阈值的不同对图像进行二值化处理，对图像进行分割，其中最佳阈值的选取则采用迭代算法。

其中，每个助航灯灯光的置信度范围为0～1，将置信度做归一化处理，从0～1归一化到0～255，生成用于表征置信度的灰度图像，根据所述置信度阈值的不同对图像进行二值化处理，对所述图像信息进行分割。

其中，置信度阈值的选取则采用迭代算法：

迭代算法的获取迭代阈值的步骤可归纳为如下：

(1)选择一个初始阈值T(j)，通常可以选择整体图像的平均灰度作为初始阈值，其中j为迭代次数，初始时j＝0；

(2)用T(j)分割图像，将图像分为两个区域C1^(j)和C2^(j)；

(3)计算两区域的平均灰度值，其中N1(j)、N2(j)为第j次迭代时区域C1和C2的像素点个数，f(x,y)表示图像中(x，y)点的灰度值；

(4)再计算新的门限值，即

(5)令j＝j+1,重复(2)～(4)，直到T(j+1)与T(j)的差值接近于0或者j达到最大的迭代次数时得到该置信度阈值。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，包括以下步骤：

S1:通过机场灯光分布图，对机场进行定义平面直角坐标系，以跑道主降方向跑道入口中心点为原点，跑道中线延长线为x轴；垂直于跑道方向为y轴，利用摄像机对助航灯分区域、分组编号，获取单个助航灯的地理位置信息和灯光图像信息，并且根据获取的每组监控节点助航灯正常状态下的灯光图像信息，完成样本采集；

S2:获取助航灯灯光的视频数据，并对视频数据进行处理并解析成逐帧的图像，得到目标图像信息；

S3:对目标图像信息进行检测，判断在目标图像信息中是否检测到灯光图像信息，若是，则输出与每个灯光图像相对应的位置编号进入步骤S4；若否，则进入步骤S5；

S4:根据所述位置编号获得与每个位置编号对应的灯光图像信息，对所述灯光图像信息进行灯光特征提取，获得在目标图像信息中各个助航灯灯光的亮度状态特征；

S5:根据在目标图像信息中的各个助航灯灯光的亮度状态特征，与所述样本中所有助航灯灯光图像信息进行匹配判断，获得助航灯灯光状态结果。

2.根据权利要求1所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，在步骤S1中，对所述摄像机采集的助航灯灯光视频数据信息进行处理并解析成逐帧的图像，同时对机场定义平面直角坐标系，并加入机场的地理位置信息，利用场景中目标位于地平面上的外在约束，由目标图像位置的观测值计算出局部地面坐标系，最后利用目标图像识别出的地理位置信息和定义的机场直角坐标系所表示的单个助航灯的编号与坐标值，识别出所述单个助航灯的具体位置。

3.根据权利要求1所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，步骤S2-S5中所述的目标图像信息为根据助航灯灯光视频数据进行处理并解析得到的不同时间点的目标图像信息。

4.根据权利要求1所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，步骤S4中，还包括建立特征提取模型，特征提取模型为一神经网络模型，采用深度学习方法对所述模型进行训练，将设置好的灯光图像信息输入至所述模型中，所述模型输出与灯光图像信息相对应的灯光状态特征；采集单灯故障图像信息，按缺陷类型对所述图像信息进行分类标记，用标记的样本对所述模型进行训练，用训练好的模型来预测待检测的目标图像信息；通过标注工具以矩形框对所述灯光图像特征信息进行标注，获得所述灯光图像信息。

5.根据权利要求4所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，在步骤S4中获得所述灯光图像信息的同时输出与每个灯光相对应的置信度，设置置信度阈值，删除置信度低于置信度阈值的助航灯灯光图像信息。

6.根据权利要求5所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，所述每个助航灯灯光的置信度范围为0～1，将置信度做归一化处理，从0～1归一化到0～255，生成用于表征置信度的灰度图像，根据所述置信度阈值的不同对图像进行二值化处理，对所述图像信息进行分割。

7.根据权利要求5所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，所述置信度阈值的选取则采用迭代算法：迭代算法的获取迭代阈值的步骤可归纳为如下：

(1)选择一个初始阈值T(j)，通常可以选择整体图像的平均灰度作为初始阈值，其中j为迭代次数，初始时j＝0；

(2)用T(j)分割图像，将图像分为两个区域C1^(j)和C2^(j)；

(3)计算两区域的平均灰度值，其中N1(j)、N2(j)为第j次迭代时区域C1和C2的像素点个数，f(x,y)表示图像中(x，y)点的灰度值；

(4)再计算新的门限值，即

(5)令j＝j+1,重复(2)～(4)，直到T(j+1)与T(j)的差值接近于0或者j达到最大的迭代次数时得到所述置信度阈值。

8.根据权利要求1所述的一种基于视频分析的机场助航灯光单灯故障监视方法，其特征在于，在步骤S5中，将在目标图像中的各个助航灯灯光的亮度状态特征，与所述样本中所有助航灯灯光图像信息进行匹配判断，若所述样本中所有助航灯灯光图像信息未匹配到目标图像中的助航灯灯光的亮度状态特征，则标记匹配失败，判断所述助航灯灯光状态为灭；若所述样本中存在任意助航灯灯光图像特征匹配到目标图像信息中的助航灯灯光特征信息，则标记匹配成功，判断灯光状态为亮。

Images