CN111860277B - 基于颜色直方图特征的民航飞机空速管套安全警示方法 - Google Patents

Abstract

本发明涉及一种基于颜色直方图特征的民航飞机空速管套安全警示方法，包括：截取包含有空速管的候选区域，保存候选区域；对候选区域筛选，得经目标检测后的图像；在空间域对图像对比度进行增强得到增强图像；对增强图像进行颜色通道灰度值的颜色量化，得到颜色直方图特征；从颜色直方图特征中提取两类特征长向量，添加标签并整合成训练数据集和测试数据集；将训练数据集导入到分类器并设置分类器初始参数；将训练数据集导入到优化后的分类器；取待测民航飞机空速管套待测试图像样本，完成空速管套是否正常摘取的检测识别；若检测识别到空速管套未正常摘取则发出安全警示。本发明能有效解决现有人为目视检查存在的工作量大以及可靠性低的问题。

Description

基于颜色直方图特征的民航飞机空速管套安全警示方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于颜色直方图特征的民航飞机空速管套安全警示方法。

背景技术

空速管广泛应用于测量飞机的空速和高度，是飞机全静压系统的最核心部件，空速管发生故障会严重威胁飞行安全。空速管的典型失效模式包括加热失效，静压孔堵塞和全压管管口堵塞。为防止因砂尘、蚊虫等异物侵入而导致管口堵塞，需要使用皮托管套和静压孔堵盖。此外，如有昆虫活动、沙尘暴或火山灰增多可能污染皮托管和静压孔时，也需要安装保护套和堵盖，外来物如昆虫堵塞了皮托管、静压孔，会引起空速/高度感应信号误差，影响飞行安全。现代民航飞机上一般使用带有20～70cm长红色飘带的凯夫拉编织护套作为空速管套。

但是空速管套却常因工作人员航前疏忽忘记取下，成为飞行中空速管堵塞的主要原因。现行航空公司为了防止这种维修人为差错的通常做法是认为目视检查，其是民航飞机维护中最基本、最常用的检查方法之一，但目视检查工作量较大，分别占货机和客机机务维修检查工作量的80％和90％以上。同时还存在一定的缺陷：即依然会因为人为因素导致空速管套未正常摘取导致的生产类故障，因此认为该方法严重依赖于人的目检，并不可靠。

机器视觉是用机器代替人眼来做测量和判断，是通过图像采集系统代替人眼获取外界信息，然后利用图像处理系统代替人神经系统处理和传输视觉信息，最后利用计算机综合分析系统代替人脑的视觉中枢分析与判断视觉信息。机器视觉在速度、准确性、灰度分辨力、空间分辨力、感光范围等方面具有人类视觉无可比拟的优势，可适应现代生产制造维修自动化的需求。其中采用的图像处理技术是指用计算机对图像进行分析处理，减少图像中影响分析结果的因素，提取所需要信息的一种技术，其包含图像增强和复原灰度变换，分割和压缩等技术。因此，亟需设计一种利用机器视觉检查空速管套是否全部取下的技术方案。

发明内容

为了改善民航飞机航行前检查受人为主观因素影响大，可靠性不高的问题，本发明提出了一种基于颜色直方图特征的民航飞机空速管套安全警示方法，其能有效解决现有人为目视检查存在的工作量大以及可靠性低的问题。

为解决上述技术问题，本发明采用了以下技术方案：

一种基于颜色直方图特征的民航飞机空速管套安全警示方法，包括如下步骤：

步骤A.采用固定步长的划窗法截取包含有空速管的候选区域，并保存截取的候选区域；

步骤B.对候选区域使用模板匹配法结合HSV颜色模型内颜色直方图方法进行筛选，去除无用信息，得到经目标检测后的图像；

步骤B的具体过程如下：

步骤B1.采取基于灰度的模板匹配法，选定600×600像素的模板图片，将候选区域与模板图片进行匹配，之后采取归一化互信息来度量图片相似度，计算各候选区域图片与模板图片的归一化互信息N(A,B)＝[H(A)+H(B)]/H(A,B)，其中H(A)、H(B)分别为图像A、B的信息熵，H(A,B)是图像A与B的联合信息熵；

步骤B2：引入HSV颜色模型下的颜色直方图特征辅助识别，统计各候选区域图像H通道灰度在[0，1/24]、[23/24，1]红色范围的的归一化频数比率；

步骤B3：输入候选区域图像，结合步骤B1和步骤B2所得到的归一化互信息和归一化频数比率设定合理阈值，对候选区域进行筛选，得到目标区域。

步骤B3的具体过程如下：

步骤B31.输入候选区域图像，设定H分量处于[0，1/24]、[23/24，1]红色范围内的归一化频数比率阈值为a；

步骤B32.当输入图像的所有候选区域的最大归一化频数比率小于阈值a时，筛选所有候选区域与模板图片的归一化互信息，若归一化互信息超过阈值b即认为识别了目标，输出归一化互信息为最大值的候选区域图像作为最终预处理后图像，其中阈值b大于阈值a；

步骤B33.若输入图像存在候选区域的归一化频数比率大于阈值a，则对候选区域保留相关系数大于阈值c的候选区域，选择保留的候选区域中的颜色直方图频数比率为最大值的候选区域即为最后识别出来的目标区域，其中阈值a﹤c﹤b。

步骤C.在空间域上使用点域运算方法对所得图像的对比度进行增强，得到增强图像；

步骤C中的点域运算为伽马变换，伽马变换的具体步骤如下：定义变换值为gamma，对每张图像RGB三个颜色通道的中每个灰度值r进行伽马变换，计算出伽马变换后图像矩阵中的每一个灰度值s，s＝r^(gamma)，建立图像RGB三个颜色通道的颜色非线性映射关系。

步骤D.对增强图像进行RGB三个颜色通道灰度值的颜色量化，统计量化后的颜色直方图信息，得到颜色直方图特征；

步骤D的具体过程如下：

步骤D1：将每张图像颜色空间的各个颜色通道在[0，255]灰度值区间内分量均匀地进行划分为n个小区间；

步骤D2：统计一张图像中各个颜色通道经过颜色量化后处于各个颜色小区间内的频数，记该频数为颜色直方图在该颜色直方图条带下的特征值，单张图像中能够得到n乘以3维的颜色直方图特征向量；

步骤D3：通过重复步骤D2依次对每张图像提取特征并将每个n乘以3维的颜色直方图特征向量按照RGB颜色通道的顺序拼接为3n乘以1维的长向量，统计出每张预处理后图像的颜色直方图特征。

步骤E.从颜色直方图特征中提取到两类特征长向量，并按照其提取自图像的类别分别添加标签，将两类标签的数据集整合成训练数据集和测试数据集；

步骤E的具体过程如下：

步骤E1：对提取自第一类空速管套正常摘取的空速管图像颜色直方图特征添加0标签，对提取自第二类空速管套正常摘取的图像特征添加1标签；

步骤E2：将0标签对应特征向量与1标签对应特征向量两类数据集标签按训练和测试目的整合成训练数据集和测试数据集。

步骤F.将训练数据集导入到监督式分类器进行训练，并设置该分类器的初始参数；

步骤G.使用交叉验证的方法优化该分类器的初始参数，并将步骤E中的训练数据集导入到优化后的分类器进行训练，得到训练后的分类器；

步骤G的具体过程如下：

步骤G1：将原始数据集均分为K组，使每个子集数据分别做一次测试集，其余的K-1组子集数据作为训练集，得到K个模型，将K个模型最终的验证集分类准确率的平均数作为此交叉验证下分类器的性能指标，对应得到优化后的分类器参数；

步骤G2：使用步骤G1中得到的优化后的分类器参数，再次将步骤E中得到的训练数据集，导入到分类器训练，得到优化后的分类器。

步骤H.取待测民航飞机空速管套未正常摘取和正常摘取的待测试图像样本，重复步骤A到E，输入到步骤G训练后的分类器中，完成空速管套是否正常摘取的检测识别；

步骤I.若检测识别到空速管套未正常摘取，则发出安全警示。

上述技术方案中提供的基于颜色直方图特征的民航飞机空速管套安全警示方法，能有效改善民航飞机航行前检查受人为主观因素影响大，可靠性不高的问题，本发明基于图像特征提取和机器学习方法，提出一种能够识别发现民航飞机航行前空速管套未正常摘取、并提出警示的方法。

其基于现有硬件平台，在物联网技术、人工智能技术发展的驱动下，以机器视觉对民航飞机空速管套进行故障检测，通过图像分析技术自动识别故障，针对民航飞行出现的人为差错，在现有高清摄像、图像识别、深度学习等技术发展的基础上，检测出航行前空速管未摘取这类维修人为差错可以提高民航飞机派遣的签派可靠度和保障飞机航行的安全，基于机器视觉的生产类故障排查方法可以替代人工的识别模式，实现检测的智能化，具有非常高的使用和经济价值，能有效避免出现空难造成严重人身伤害和重大经济损失。

另外，本发明采用图像处理技术，通过计算机对图像进行分析处理，减少图像中影响分析结果的因素，彩色数字图像是用拍摄设备拍摄得到的一个大的三维矩阵，该矩阵的元素称为像素，其值称为灰度值，利用彩色图像特征提取技术能将三维像素阵列以一维的特征向量来表示，从而大大减少了对图像处理运算所需的时间。

本发明还包括对图像进行灰度处理，计算对图像中每个像素点进行颜色量化，将图像三个通道颜色灰度值划分成若干个小的颜色小区间，统计整体区域的颜色直方图，再把提取自三个颜色通道的特征向量串联组合成整个图像的长特征向量；通过提取到的样本特征，对样本特征加标签构建训练测试数据集，对训练样本构建有监督机器学习分类器，再对测试样本用训练好的分类器完成识别检测。

本发明将图像识别分割为600×600的统一尺寸大小，便于对比和分析，该尺寸也可根据空速管套的实际大小进行适当调整和选择；另外通过对图像进行伽马变换，通过对图像进行增强处理从而减少阴影和光照变化，可有效地降低图像局部的阴影和光照变化，增强了图像，提高识别的准确性。

本发明采用基于颜色直方图特征对图像进行特征提取，对图像本身的尺寸、方向、视角的依赖性较小，具有平移、旋转和尺度不变性，从而具有较高的鲁棒性；并采用交叉验证的方法对有监督的机器学习分类器参数进行优化，能够有效避免过学习或欠学习状态的发生，能够的到较高的识别准确率。总之，本发明的基于颜色直方图特征的民航飞机空速管套安全警示方法，提出了一种对民航飞机航行前空速管检查的新模式，能够满足民航飞机维修中的实际工业应用需求。

附图说明

图1为本发明所述基于颜色直方图特征的民航飞机空速管套安全警示方法流程图；

图2为从候选区域筛选目标区域的算法流程图；

图3为输入图像的颜色直方图示意图(其中图像颜色灰度值量化为52个小区间)；

图4为分类器完成训练后识别效果图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行具体说明。应当理解，以下文字仅仅用以描述本发明的一种或几种具体的实施方式，并不对本发明具体请求的保护范围进行严格限定。

如图1所示为基于颜色直方图特征的民航飞机空速管套安全警示方法，这里应用SVM(支持向量机)这种有监督的机器学习分类器为例，具体实施包括如下步骤：

步骤A：采用划窗法截取所有可能包含有空速管的候选区域，不同于经典的划窗检测法需要用不同的窗口以不同的步长去遍历整个图像，采用固定600×600像素的窗口去遍历输入的图像，截取保存候选区域；

步骤B(参考图2)：对候选区域进行使用模板匹配法结合HSV颜色模型内颜色直方图辅助进行筛选，筛选得到经目标检测后去除大部分无用信息的的图像；具体步骤如下：

步骤B1：采取最经典的基于灰度的模板匹配法，选定标准的600×600像素的模板图片，将候选区域与之进行匹配，从而代替分类器概率去评价是否完成目标识别；采取归一化互信息(NormalizedMutualInformation，NMI)来度量图片相似度，计算各候选区域图片与模板图片的归一化互信息N(A,B)＝[H(A)+H(B)]/H(A,B)，其中H(A)、H(B)分别为图像A、B的信息熵，H(A,B)是图像A与B的联合信息熵；

步骤B2：引入HSV(Hue，Saturation，Value)颜色模型下的颜色直方图特征辅助识别。在HSV颜色模型中，H通道主要表征的是色调，认为H通道取值范围在[0，1/24]、[23/24，1]内代表红色，统计各候选区域图像H通道灰度在该范围的的归一化频数比率；

步骤B3：输入候选区域图像，结合步骤B1和步骤B2所得到的归一化互信息和归一化频数比率设定合理阈值，对候选区域进行筛选，得到目标区域；其具体过程如下：

步骤B31：输入候选区域图像，设定H分量处于[0，1/24]、[23/24，1]范围内的归一化频数比率阈值为0.2(即a)；

步骤B32：某个输入图像的所有候选区域的最大归一化频数比率小于阈值0.2(即a)时，筛选所有候选区域与模板图片的归一化互信息，若归一化互信息超过阈值0.8(即b)即认为识别了目标，输出归一化互信息为最大值的候选区域图像作为最终预处理后图像；

步骤B33：如果某个输入图像存在候选区域的归一化频数比率大于颜色直方图阈值0.2(即a)，则对候选区域保留相关系数大于阈值0.5(即c)的候选区域，选择保留的候选区域中的颜色直方图频数比率为最大值的候选区域即为最后识别出来的目标区域；

步骤C：在空间域上使用点域运算的方法进行图像增强，应用伽马变换完成图像的对比度增强以突出图像中空速管套的颜色特征；伽马变换的具体步骤如下：

定义变换值为gamma＝0.477，对每张图像RGB三个颜色通道的中每个灰度值r进行伽马变换，计算出伽马变换后图像矩阵中的每一个灰度值s为s＝r^(gamma)，建立了图像RGB三个颜色通道的颜色非线性映射关系；

步骤D：对经图像增强后的图像进行RGB三个颜色通道灰度值的颜色量化，统计量化后的颜色直方图信息，得到如图3所示的颜色直方图特征；具体过程如下：

步骤D1：将每张图像颜色空间的各个颜色通道在[0，255]灰度值区间内分量均匀地进行划分为52个小区间；

步骤D2：统计一张图像中各个颜色通道经过颜色量化后处于各个颜色小区间内的频数，即记该频数为颜色直方图在该颜色直方图条带下的特征值，单张图像中能够得到52乘以3维的颜色直方图特征向量；

步骤D3：通过重复步骤D2依次对每张图像提取特征并将每个52乘以3维的颜色直方图特征向量按照RGB颜色通道的顺序拼接为3×52乘以1维的长向量，从而统计出每张预处理后图像的的颜色直方图特征；

步骤E：将从两类图像中提取到的特征长向量按照其提取自图像的类别添加标签；

步骤E1：对提取自第一类空速管套正常摘取的空速管图像颜色直方图特征添加0标签，对提取自第二类空速管套正常摘取的图像特征添加1标签；

步骤E2：将0标签对应特征向量与1标签特征向量两类数据集按照标签按训练和测试目的整合成为训练数据集和测试数据集；

步骤F：将从步骤E2中得到的训练数据集，导入到SVM分类器训练，设置SVM模型高斯核函数初始参数惩罚变量C＝2，带宽参数sigma＝2；

步骤G：使用交叉验证的方法优化SVM的C和sigma参数；其具体步骤如下：

步骤G1：将原始数据集均分为K(K一般大于等于二)组，使每个子集数据分别做一次测试集，同时其余的K-1组子集数据作为训练集，可以得到K个模型，使用K个模型最终的验证集的分类准确率的平均数作为此交叉验证下分类器的性能指标，对应得到最优化的C和sigma参数；

步骤G2：使用步骤G1中得到的优化后的C和sigma参数，再次将从步骤E2中得到的训练数据集，导入到SVM分类器训练优化后的分类器，其效果图如图4所示；

步骤H：取此类民航飞机空速管套未正常摘取和正常摘取的待测试的图像样本，重复步骤A到E，输入到步骤G训练好的机器学习分类器，完成此类空速管套是否正常摘取的检测识别。

步骤I：若检测识别到空速管套未正常摘取，提出安全警示。

上面结合实施例对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，对于本技术领域的普通技术人员来说，在获知本发明中记载内容后，在不脱离本发明原理的前提下，还可以对其作出若干同等变换和替代，这些同等变换和替代也应视为属于本发明的保护范围。

Claims (5)

1.一种基于颜色直方图特征的民航飞机空速管套安全警示方法，其特征在于，包括如下 步骤： 步骤 A.采用固定步长的划窗法截取包含有空速管的候选区域，并保存截取的候选区域； 步骤 B.对候选区域使用模板匹配法结合 HSV 颜色模型内颜色直方图方法进行筛选，去 除无用信息，得到经目标检测后的图像； 步骤 B 的具体过程如下： 步骤 B1.采取基于灰度的模板匹配法，选定模板图片，将候选区域与模板图片进行匹配， 之后采取归一化互信息来度量图片相似度，计算各候选区域图片与模板图片的归一化互信息 N(A,B)=[H(A)+H(B)]/H(A,B)，其中 H(A)、H(B)分别为图像 A、B 的信息熵，H(A,B)是图像 A 与 B的联合信息熵； 步骤 B2：引入 HSV 颜色模型下的颜色直方图特征辅助识别，统计各候选区域图像 H 通 道灰度在[0，1/24]、[23/24，1]红色范围的的归一化频数比率； 步骤 B3：输入候选区域图像，结合步骤 B1 和步骤 B2 所得到的归一化互信息和归一化 频数比率设定合理阈值，对候选区域进行筛选，得到目标区域； 步骤 C.在空间域上使用点域运算方法对所得图像的对比度进行增强，得到增强图像； 步骤 D.对增强图像进行 RGB 三个颜色通道灰度值的颜色量化，统计量化后的颜色直方 图信息，得到颜色直方图特征； 步骤 D的具体过程如下： 步骤 D1：将每张图像颜色空间的各个颜色通道在[0，255]灰度值区间内分量均匀地进行 划分为 n 个小区间； 步骤 D2：统计一张图像中各个颜色通道经过颜色量化后处于各个颜色小区间内的频数， 记该频数为颜色直方图在该颜色直方图条带下的特征值，单张图像中能够得到 n 乘以 3 维的 颜色直方图特征向量； 步骤 D3：通过重复步骤 D2 依次对每张图像提取特征并将每个 n 乘以 3 维的颜色直方图 特征向量按照RGB 颜色通道的顺序拼接为 3n 乘以 1 维的长向量，统计出每张预处理后图像 的颜色直方图特征； 步骤 E.从颜色直方图特征中提取到两类特征长向量，并按照其提取自图像的类别分别添 加标签，将两类标签的数据集整合成训练数据集和测试数据集； 步骤 F.将训练数据集导入到监督式分类器进行训练，并设置该分类器的初始参数；步骤 G.使用交叉验证的方法优化该分类器的初始参数，并将步骤 E 中的训练数据集导入 到优化后的分类器进行训练，得到训练后的分类器； 步骤 H.取待测民航飞机空速管套未正常摘取和正常摘取的待测试图像样本，重复步骤 A 到 E，输入到步骤 G 训练后的分类器中，完成空速管套是否正常摘取的检测识别； 步骤 I.若检测识别到空速管套未正常摘取，则发出安全警示。

2.根据权利要求 1 所述的基于颜色直方图特征的民航飞机空速管套安全警示方法，其特 征在于，步骤 B3 的具体过程如下： 步骤 B31.输入候选区域图像，设定 H 分量处于[0，1/24]、[23/24，1]红色范围内的归一 化频数比率阈值为 a； 步骤 B32.当输入图像的所有候选区域的最大归一化频数比率小于阈值 a 时，筛选所有候 选区域与模板图片的归一化互信息，若归一化互信息超过阈值 b 即认为识别了目标，输出归 一化互信息为最大值的候选区域图像作为最终预处理后图像，其中阈值 b 大于阈值 a； 步骤 B33.若输入图像存在候选区域的归一化频数比率大于阈值 a，则对候选区域保留相 关系数大于阈值 c的候选区域，选择保留的候选区域中的颜色直方图频数比率为最大值的候 选区域即为最后识别出来的目标区域，其中阈值 a﹤c﹤b。

3.根据权利要求 1 所述的基于颜色直方图特征的民航飞机空速管套安全警示方法，其特 征在于，步骤 C 中的点域运算为伽马变换，伽马变换的具体步骤如下：定义变换值为gamma， 对每张图像 RGB 三个颜色通道的中每个灰度值 r 进行伽马变换，计算出伽马变换后图像矩阵 中的每一个灰度值 s，s=r^（gamma），建立图像 RGB 三个颜色通道的颜色非线性映射关系。

4.根据权利要求 3 所述的基于颜色直方图特征的民航飞机空速管套安全警示方法，其特 征在于，步骤 E 的具体过程如下： 步骤 E1：对提取自第一类空速管套正常摘取的空速管图像颜色直方图特征添加 0 标签， 对提取自第二类空速管套正常摘取的图像特征添加 1 标签； 步骤 E2：将 0 标签对应特征向量与 1 标签对应特征向量两类数据集标签按训练和测试目 的整合成训练数据集和测试数据集。

5.根据权利要求 4 所述的基于颜色直方图特征的民航飞机空速管套安全警示方法，其特 征在于，步骤 G 的具体过程如下： 步骤 G1：将原始数据集均分为 K 组，使每个子集数据分别做一次测试集，其余的 K-1 组子集数据作为训练集，得到 K 个模型，将 K 个模型最终的验证集分类准确率的平均数作为 此交叉验证下分类器的性能指标，对应得到优化后的分类器参数； 步骤 G2：使用步骤 G1 中得到的优化后的分类器参数，再次将步骤 E中得到的训练数据 集，导入到分类器训练，得到优化后的分类器。