CN114549914B - 一种飞机大面积结冰检测方法及检测系统 - Google Patents

一种飞机大面积结冰检测方法及检测系统 Download PDF

Info

Publication number
CN114549914B
CN114549914B CN202210449576.0A CN202210449576A CN114549914B CN 114549914 B CN114549914 B CN 114549914B CN 202210449576 A CN202210449576 A CN 202210449576A CN 114549914 B CN114549914 B CN 114549914B
Authority
CN
China
Prior art keywords
ice
icing
ice accretion
network model
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210449576.0A
Other languages
English (en)
Other versions
CN114549914A (zh
Inventor
李彪
邢志伟
刘鹏
阚犇
张前前
王立文
陈飞
龚淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202210449576.0A priority Critical patent/CN114549914B/zh
Publication of CN114549914A publication Critical patent/CN114549914A/zh
Application granted granted Critical
Publication of CN114549914B publication Critical patent/CN114549914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于飞机地面结冰检测技术领域，公开了一种飞机大面积结冰检测方法及检测系统。对采集的飞机表面多角度图像进行预处理及标注，得到训练数据集，按照不同的标签类型将得到的训练数据集划分为冰型训练数据集和积冰坐标训练数据集；根据外部环境条件以及各区域分布的积冰点，利用积冰坐标训练数据集训练积冰坐标网络模型；根据划分的冰型训练数据集训练冰型识别网络模型，输出需检测的飞机机身各区域分割积冰图片中的积冰冰型，建立积冰强度等级计算公式，并按照积冰强度等级计算除冰液用量。本发明中在积冰强度等级计算方面，通过将传感器获取的外部环境变量引入积冰强度等级计算公式中，提升传统积冰强度等级计算公式的准确度。

Description

一种飞机大面积结冰检测方法及检测系统
技术领域
本发明属于飞机地面结冰检测技术领域，尤其涉及一种飞机大面积结冰检测方法、飞机大面积结冰检测系统。
背景技术
飞机在寒冷天气中，由于空气中水分凝结在飞机表面，将会造成飞机结冰问题，飞机结冰对飞行安全的影响是多方面，主要体现在以下几个方面：1）结冰条件下，飞机的最大升力系数和升力曲线斜率减小，阻力和临界失速速度增大；2）机翼结冰可导致翼型失速迎角减小，而尾翼结冰可导致尾翼失速，尤其是在襟翼下洗流中；3）不对称结冰可能引起额外的滚动力矩；4）飞机尾机结冰有可能会产生更大的粘滞力，增加控制难度。
飞机表面常见的需要的防冰部位有机翼、尾翼、空速管和发动机进气通道等，现有的飞机除冰方式按照工作的方式可以划分为机械除冰、热力防冰和液体防冰。其中常见的机械除冰有电动带除冰和电脉冲除冰等；常见的热力防冰技术包括电热防冰和气热防冰等；而液体防冰则是通过为飞机表面喷涂防冰液，使飞机需要防护的部件能够维持在液体凝固点之上而不结冰的技术。
另外，飞机表面积冰的估算可采用直接测量、间接测量或数值模拟，直接方法是基于检测由积冰引起的物理性质的某些变化，这些包括质量、反射特性、导电性、介电系数和电感等；间接方法基于检测导致结冰的天气条件，如湿度、温度和风速，或检测结冰的影响，而数值模拟则是使用经验或确定性模型确定结冰发生的时间。
相比较需要通过加入机械或者热力装置并作用于飞机表面而言，喷涂防冰液的方式能够最小化防冰过程对飞机部件的二次损伤，其实用性较好。由于过量使用将会造成成本的提高以及对环境污染的加剧，除冰液用量一直以来都是飞机防冰技术的重点研究方向之一。不论是间接或者直接测量的方式，目前飞机表面检测方法得到的积冰量与实际值之间仍然存在差距，进而导致不能较好地估算防冰液。
通过上述分析，现有技术存在的问题及缺陷为：
（1）现有的研究对飞机表面的结冰面积和结冰点分布研究较少，而将研究重点集中在积冰的冰型和厚度上，对结冰面积的考虑较少，不能全面地反映出飞机表面大面积结冰时的客观状态。
（2）现有技术中通常对于积冰的多种识别功能采用同一个网络模型拟合输出，对于其中各项单独指标的拟合效果不佳。
（3）目前采用图像识别疾病厚度或者传感器测量间接变量以确定积冰冰型以及积冰强度等级，而少有将两者相结合多评价指标融合的研究，不能全面反映飞机表面的积冰状态，易造成较大的除冰液使用量偏差。
解决上述问题的难度为：对于不同的识别功能需要设计多个侧重点不同的神经网络模型，需要充分调研任务的核心难点以及数据特性，设计难度较大。
解决以上问题及缺陷的意义为：本发明通过对飞机表面多角度图像的采样，采用图像的边缘检测算法同时测量积冰点的厚度以及结冰面积，以更加完善的方式计算积冰强度等级，客观反映飞机表面积冰状态。另一方面，本发明只需要将同一组样本数据采用不同的标注标签即可作为不同目标功能网络模型的训练和测试样本数据，在实现功能精细化和专一化的同时，不会增加对于样本数据总量需求的增加，减少了在极端天气下对飞机表面数据的采集，提高样本使用效率的同时减少了获取大量训练数据的难度。通过外部环境变量传感器得到的环境参数以及图像识别的积冰冰型，加权综合计算多指标融合的积冰强度等级模糊隶属度，能够更全面客观地反映真实积冰状态，以进一步确定除冰液用量。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种飞机大面积结冰检测方法、飞机大面积结冰检测系统，所述技术方案如下：
该飞机大面积结冰检测方法包括以下步骤：
步骤（1）通过多角度图像采集设备，采集飞机的机身上表面、机身下表面、机翼上表面、机翼下表面的图像，作为原始图像；
步骤（2）基于图像预处理算法，对上述原始图像进行预处理，作为积冰坐标训练数据集中的训练和测试图像样本；
步骤（3）基于多维度协同传感器，采集并记录机身上表面、机身下表面、机翼上表 面、机翼下表面的区域图像对应的空气湿度
Figure 547337DEST_PATH_IMAGE001
、环境温度
Figure 522246DEST_PATH_IMAGE002
、风速
Figure 331939DEST_PATH_IMAGE003
和气压
Figure 683286DEST_PATH_IMAGE004
；
步骤（4）采用所述积冰坐标训练数据集，训练积冰坐标网络模型，得到飞机各区域表面的积冰位置坐标，并统计各区域积冰数量；
步骤（5）根据空气湿度
Figure 629245DEST_PATH_IMAGE001
、环境温度
Figure 775056DEST_PATH_IMAGE002
、风速
Figure 806466DEST_PATH_IMAGE003
和气压
Figure 820558DEST_PATH_IMAGE004
的外部环境条件参数以及飞 机机身上表面、机身下表面、机翼上表面、机翼下表面各区域分布的积冰数量作为输入参 数，利用步骤（4）训练后的所述积冰坐标网络模型，输出图像采集区域
Figure 761970DEST_PATH_IMAGE005
；
步骤（6）采用标定的冰型训练数据集，训练积冰识别网络模型，得到基于分割图像 的积冰冰型
Figure 344261DEST_PATH_IMAGE006
以及对应的面积
Figure 862967DEST_PATH_IMAGE007
和厚度
Figure 556116DEST_PATH_IMAGE008
；
步骤（7）通过所述积冰坐标网络模型和所述积冰识别网络模型，输入外部环境条 件和经过预处理的飞机表面图像，输出图像采集区域
Figure 742247DEST_PATH_IMAGE005
以及覆盖范围内的积冰坐标和积冰 冰型
Figure 495439DEST_PATH_IMAGE006
；
步骤（8）基于所述图像采集区域
Figure 376808DEST_PATH_IMAGE005
内的积冰数量和对应的积冰冰型
Figure 998282DEST_PATH_IMAGE006
，按照积冰强 度等级计算公式计算强度等级；
步骤（9）以积冰强度等级作为依据，计算除冰液用量并输出。
进一步，在步骤（4）中，采用所述积冰坐标训练数据集，训练积冰坐标网络模型，得到飞机各区域表面的积冰位置坐标包括：
步骤一、采用三种不同面积和三种不同的长宽比排列组合得到九种尺寸窗口，作为初始检测框，对完成预处理的飞机表面图像进行锚定操作；
步骤二：以softmax层对各锚定检测框内真值预测，判定检测框内是否存在积冰图像；
步骤三：对存在积冰图像的检测框的位置和尺寸进一步回归；
步骤四：综合积冰坐标网络模型的分类网络层cls和回归网络层reg的损失值以计算检测框的损失值，损失函数表达式为：
Figure DEST_PATH_IMAGE009
其中
Figure 242181DEST_PATH_IMAGE010
是检测框的索引值，
Figure 431854DEST_PATH_IMAGE011
和
Figure 925152DEST_PATH_IMAGE012
分别是检测框的真假分类标签和表征向量的预测 值，
Figure 225684DEST_PATH_IMAGE013
和
Figure 730614DEST_PATH_IMAGE014
分别是检测框的真假分类标签和表征向量的真实值，
Figure 967821DEST_PATH_IMAGE015
和
Figure 558203DEST_PATH_IMAGE016
是归一化参 数，
Figure 521479DEST_PATH_IMAGE017
是两项的平衡参数，
Figure 412075DEST_PATH_IMAGE018
为分类网络层cls的损失值，
Figure 802605DEST_PATH_IMAGE019
回归网 络层reg的损失值；
步骤五：通过ROI pooling层分别对网络输出的区域提议值和边界区域分割单元进行整数化；
步骤六：使用ROI Align方法特征图像和原始图像对准，利用双线性插值的方法获 得坐标为浮点数的像素点上的图像数值，并对采样点使用maxpooling层，设离采样点最近 的四个整数坐标点的坐标分别为
Figure 880282DEST_PATH_IMAGE020
、
Figure 381671DEST_PATH_IMAGE021
、
Figure 126773DEST_PATH_IMAGE022
、
Figure 563571DEST_PATH_IMAGE023
，则双线性插值坐标计算公式为：
Figure 253178DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
Figure 292678DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE027
其中，
Figure 485762DEST_PATH_IMAGE028
为
Figure DEST_PATH_IMAGE029
的插值纵坐标，
Figure 686936DEST_PATH_IMAGE030
为
Figure DEST_PATH_IMAGE031
的插值纵坐标，
Figure 208047DEST_PATH_IMAGE032
为
Figure 316818DEST_PATH_IMAGE033
的插值 纵坐标，
Figure 629987DEST_PATH_IMAGE034
为
Figure 674167DEST_PATH_IMAGE035
的插值纵坐标。
进一步，在步骤三中，对存在积冰图像的检测框的位置和尺寸进一步回归包括：
步骤1：将初始检测框的中心坐标转换为预测的真实积冰图像坐标
Figure 948153DEST_PATH_IMAGE036
，计算 公式为：
Figure 595035DEST_PATH_IMAGE037
Figure 903657DEST_PATH_IMAGE038
其中，
Figure 243371DEST_PATH_IMAGE039
为初始检测框的中心坐标，
Figure 270233DEST_PATH_IMAGE040
为初始检测框的宽度，
Figure 455227DEST_PATH_IMAGE041
为初始检测 框的高度，
Figure 149513DEST_PATH_IMAGE042
为网络模型拟合对应宽度的变化关系，
Figure 269916DEST_PATH_IMAGE043
为网络模型拟合对应高 度的变化关系；
步骤2：将初始检测框的宽度
Figure 643129DEST_PATH_IMAGE040
、高度
Figure 507179DEST_PATH_IMAGE041
转换为预测的真实积冰图像宽度
Figure 915027DEST_PATH_IMAGE044
和高 度
Figure 471910DEST_PATH_IMAGE008
，计算公式为：
Figure 332419DEST_PATH_IMAGE045
Figure 161DEST_PATH_IMAGE046
其中，
Figure 268374DEST_PATH_IMAGE047
、
Figure 730579DEST_PATH_IMAGE048
分别为网络模型拟合的对应变换关系。
进一步，在步骤四中，检测框的表征向量
Figure 219330DEST_PATH_IMAGE049
，各元素计算公 式为：
Figure 815396DEST_PATH_IMAGE050
Figure 807623DEST_PATH_IMAGE051
Figure 830943DEST_PATH_IMAGE052
Figure 541410DEST_PATH_IMAGE053
其中
Figure 675588DEST_PATH_IMAGE054
分别表示检测框中心坐标
Figure 522321DEST_PATH_IMAGE055
、宽度
Figure 716542DEST_PATH_IMAGE044
和高度
Figure 648726DEST_PATH_IMAGE008
的对 应损失计算参数。
进一步，在步骤（6）中，所述积冰识别网络模型的识别方法包括：
步骤1）：检测积冰点对应的面积
Figure 727540DEST_PATH_IMAGE007
和厚度
Figure 553414DEST_PATH_IMAGE008
，确定积冰的尺寸参数，采用基于Kirsch 检测算子的边缘检测神经网络模型分别对飞机俯视和侧视表面进行检测；
步骤2）：基于识别的积冰尺寸参数以及积冰形态，使用ResNet101-FPN特征提取网 络模型拟合积冰冰型
Figure 793902DEST_PATH_IMAGE006
；
步骤3）：计算积冰识别网络模型的性能指标，采用AUC曲线作为评估指标。
进一步，所述检测积冰点对应的面积
Figure 338016DEST_PATH_IMAGE007
和厚度
Figure 689363DEST_PATH_IMAGE008
，确定积冰的尺寸参数，采用基于 Kirsch检测算子的边缘检测神经网络模型分别对飞机俯视和侧视表面进行检测包括以下 步骤：
1.1）：计算输入样本向量
Figure 635322DEST_PATH_IMAGE056
对应的各输入神经元
Figure 46712DEST_PATH_IMAGE057
与各隐层神经元
Figure 78122DEST_PATH_IMAGE010
之间的距离
Figure 233160DEST_PATH_IMAGE058
：
Figure DEST_PATH_IMAGE059
其中，
Figure 502467DEST_PATH_IMAGE060
为样本向量的第
Figure DEST_PATH_IMAGE061
个元素，
Figure 678234DEST_PATH_IMAGE062
为各隐层神经元之间的权值；
1.2）：通过距离最小的神经元得到的输出为：
Figure DEST_PATH_IMAGE063
其中，
Figure 665781DEST_PATH_IMAGE064
和
Figure DEST_PATH_IMAGE065
是隐层神经元的序号，且满足
Figure 952406DEST_PATH_IMAGE066
；
Figure 872957DEST_PATH_IMAGE067
是由隐层神经元得到的输出 结果，
Figure 360571DEST_PATH_IMAGE068
是由输出神经元得到的输出结果；
1.3）：得到输出的第
Figure 366573DEST_PATH_IMAGE069
个像素点的边缘预测值
Figure 863413DEST_PATH_IMAGE070
；
1.4）：正确的边缘标签值为
Figure 638471DEST_PATH_IMAGE071
，对于距离最小的隐层神经元
Figure 828144DEST_PATH_IMAGE064
，若
Figure 50004DEST_PATH_IMAGE072
，按照 下式调整权值：
Figure DEST_PATH_IMAGE073
若
Figure 678431DEST_PATH_IMAGE074
，则按照下式调整权值：
Figure 714520DEST_PATH_IMAGE075
其中，
Figure 809515DEST_PATH_IMAGE076
是第
Figure 524530DEST_PATH_IMAGE077
个像素点的权值，
Figure 628752DEST_PATH_IMAGE078
是第
Figure 378403DEST_PATH_IMAGE069
个像素点的权 值，
Figure 644299DEST_PATH_IMAGE079
是距离最小隐身神经元与输入神经元之间的广义距离；
1.5）：重复步骤1.1）-步骤1.4），直至完成所有样本的训练。
进一步，所述计算积冰识别网络模型的性能指标，采用AUC曲线作为评估指标包括以下步骤：
3.1）：通过冰型训练数据集获得模型在分类过程中的混淆矩阵元素TP、FN、FP、TN值，分别表示真正数量、假负数量、假正数量和真负数量，计算灵敏度TPR和1-特异度FPR，计算公式为：
Figure 846610DEST_PATH_IMAGE080
Figure 223365DEST_PATH_IMAGE081
3.2）：根据不同阈值下计算得到的灵敏度TPR和1-特异度FPR作出ROC曲线；
3.3）：采用梯形近似法计算ROC曲线下方至x轴之间包围面积，得到AUC值，计算公式为：
Figure 968467DEST_PATH_IMAGE082
其中是输入神经元的阶数，M，N为正负样本的个数。
进一步，在步骤（8）中，所述积冰强度等级计算公式中使用积冰指数作为衡量指 标，得到基于多指标融合的模糊隶属度积冰强度等级计算公式；将传感器接收到的空气湿 度
Figure 529898DEST_PATH_IMAGE001
、环境温度
Figure 94872DEST_PATH_IMAGE083
、风速
Figure 665530DEST_PATH_IMAGE003
和气压
Figure 999560DEST_PATH_IMAGE004
外部环境量以及积冰的总面积
Figure 731892DEST_PATH_IMAGE084
和厚度
Figure 49741DEST_PATH_IMAGE085
作为计算公式中 的因素，计算公式为：
Figure 33878DEST_PATH_IMAGE086
Figure 347048DEST_PATH_IMAGE087
Figure 125648DEST_PATH_IMAGE088
；
其中
Figure 55426DEST_PATH_IMAGE083
为环境温度，
Figure 577675DEST_PATH_IMAGE001
为空气湿度，
Figure DEST_PATH_IMAGE089
、
Figure 479772DEST_PATH_IMAGE090
分别为
Figure 553907DEST_PATH_IMAGE091
指数法、
Figure 846348DEST_PATH_IMAGE092
积冰判定 法计算得到的积冰强度模糊隶属度数值，
Figure 906708DEST_PATH_IMAGE093
为的积冰识别网络模型
Figure 460049DEST_PATH_IMAGE094
得到的积冰强度 模糊隶属度数值，
Figure 846031DEST_PATH_IMAGE095
为飞机表面温度；
以
Figure 953664DEST_PATH_IMAGE091
指数法、
Figure 83294DEST_PATH_IMAGE092
积冰判定法、冰识别网络模型
Figure 491142DEST_PATH_IMAGE094
得到的模糊隶属度积冰 强度计算公式作为加权基础，得到基于多指标融合的模糊隶属度积冰强度等级计算公式 为：
Figure 782446DEST_PATH_IMAGE096
其中
Figure 642954DEST_PATH_IMAGE097
、
Figure 310696DEST_PATH_IMAGE098
、
Figure 713996DEST_PATH_IMAGE099
为各项指标的归一化参数，
Figure 306694DEST_PATH_IMAGE089
、
Figure 529865DEST_PATH_IMAGE090
分别为
Figure 860352DEST_PATH_IMAGE091
指数法、
Figure 118158DEST_PATH_IMAGE092
积冰 判定法计算得到的积冰强度模糊隶属度数值，
Figure 141478DEST_PATH_IMAGE093
为的积冰识别网络模型
Figure 851945DEST_PATH_IMAGE094
得到的积冰 强度模糊隶属度数值。
进一步，在步骤（9）中，计算除冰液用量并输出包括：
通过计算得到积冰强度等级，加入积冰分布数量以及面积大小，定义单位体积积 冰所需的除冰液量为
Figure 720544DEST_PATH_IMAGE100
，结合积冰坐标网络模型和冰型识别网络模型，得到基于Mask RCNN 网络模型积冰图像检测的除冰液用量计算公式：
Figure 98436DEST_PATH_IMAGE101
其中，
Figure 902444DEST_PATH_IMAGE102
为被检测的飞机表面区域数量，
Figure 224840DEST_PATH_IMAGE103
为区域
Figure 38076DEST_PATH_IMAGE010
中积冰数量总和，
Figure 129528DEST_PATH_IMAGE104
为区域
Figure 370017DEST_PATH_IMAGE010
中 积冰厚度，
Figure 914131DEST_PATH_IMAGE105
为区域
Figure 531057DEST_PATH_IMAGE010
中第
Figure 352382DEST_PATH_IMAGE106
个积冰点的积冰面积，
Figure 888406DEST_PATH_IMAGE107
为除冰液用量计算中设置的单位体 积，
Figure 60761DEST_PATH_IMAGE108
为积冰强度等级归一化参数。
本发明的另一目的在于提供一种实施所述飞机大面积结冰检测方法的飞机大面积结冰检测系统，所述飞机大面积结冰检测系统包括：
数据采集模块，用于采集飞机表面多角度图像作为原始图片；
数据处理模块，对采集图片进行预处理，再标注得到训练数据集，按照不同的标签 类型将数据分为冰型和坐标两个训练集；根据空气湿度
Figure 74854DEST_PATH_IMAGE109
、环境温度
Figure 16265DEST_PATH_IMAGE083
、风速
Figure 864135DEST_PATH_IMAGE110
和气压
Figure 382841DEST_PATH_IMAGE069
以及 飞机机身各区域的积冰点分布来训练区域选定神经网络，输出倾向采集积冰信息图像的区 域
Figure 75991DEST_PATH_IMAGE111
；根据标定的冰型训练数据集训练冰型识别网络模型，输出检测区域分割积冰图片中 的积冰冰型
Figure 730963DEST_PATH_IMAGE112
；
除冰液计算模块，基于积冰坐标网络模型和冰型识别网络模型，输出为图像采集 区域
Figure 749735DEST_PATH_IMAGE111
和积冰冰型
Figure 755737DEST_PATH_IMAGE112
，建立基于图像采集区域和积冰冰型的积冰强度等级计算公式，并按照 积冰强度等级计算除冰液用量。
本发明的另一目的在提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述飞机大面积结冰检测方法。
本发明的另一目的在提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述飞机大面积结冰检测方法。
针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
第一、本发明通过结合空气湿度、环境温度、风速和气压等外部环境条件以及飞机机身各区域的积冰点分布对飞机机身各区域进行训练并选定积冰坐标网络模型，利用选定的积冰坐标网络输出积冰信息采集区域和积冰宏观特征，能够提升积冰检测的识别精度和速度，进一步提升飞机地面积冰状态感知和辨识能力；通过采用基于Kirsch检测算子的边缘检测神经网络模型分别对飞机俯视和侧视表面进行检测图像边缘获取飞机大范围积冰的类型厚度等特征参量，能够给为配置除冰液参数提供精准输入，同时可以较大程度地影响飞机地面除冰作业参数体系优化及控制策略的生成；构建面向飞机大面积结冰检测方法的飞机大面积结冰检测系统能够自主完成飞机关键部位积冰信息获取、预处理、检测、和识别的功能，提升飞机整体积冰检测能力，能够为机场自主除冰作业提供客观有效决策依据。
第二、通过基于FPGA芯片模块设计的飞机表面积冰检测电路可以通过使用不同于传统软件应用层面的指令系统编译的硬件描述语言直接对硬件资源进行重新编译，极大地增加了使用过程中对于图像采集任务需求调整时的修改成本，在使用过程中极大地提升了模块使用灵活性和响应速度；本发明中分别对应积冰位置识别、积冰冰型及其面积厚度和重点图像采集区域推荐多个功能设计网络模型，依照不同的功能和相应的技术要求进行设计建模，提升了模型识别对应目标的精度。在积冰强度等级计算方面，通过将传感器获取的外部环境变量引入积冰强度等级计算公式中，提升传统积冰强度等级计算公式的准确度。
第三、本发明能够最大程度提升飞机大面积积冰检测能力并提高除冰效率，最终实现除冰液用量的精准配置，减少航班延误并节约除冰液的消耗，在冰雪气象条件下能够大大提高机场运行效率并减少航空公司运营成本；本发明通过多域信息融合以及深度神经网络实现飞机大面积积冰的检测和识别，完善并填补了飞机出现大面积冰检测能力不足的短板；本发明首次将深度神经网络应用到飞机大面积冰检测识别领域，其识别精度和检测能力能够满足积冰感知需求，能够为除冰液参数及用量配置提供有效信息；飞机地面积冰检测尤其是基于图像识别的大面积积冰检测尚属首次，能够进一步提升冰雪气象条件下机场运行态势感知能力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的基于目标检测与分类的飞机大面积结冰检测方法流程图；
图2是本发明实施例提供的RPN神经网络结构图；
图3是本发明实施例提供的检测模型识别机身上表面积冰数量统计图；
图4是本发明实施例提供的检测模型识别机身下表面积冰数量统计图；
图5是本发明实施例提供的检测模型识别机翼上表面积冰数量统计图；
图6是本发明实施例提供的检测模型识别机翼下表面积冰数量统计图；
图7是本发明实施例提供的冰型准确度测试的ROC曲线图；
图8是本发明实施例提供的基于目标检测与分类的飞机大面积结冰检测系统示意图；
图9是本发明实施例提供的数据采集模块示意图；
图10是本发明实施例提供的数据处理模块示意图；
图中：1、数据采集模块；1-1、FPGA芯片模块；1-2、CMOS图像采集模块；2、数据处理模块；2-1、图像采集区域推荐模块；2-2、积冰坐标定位模块；2-3、积冰特征识别模块；3、除冰液计算模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
下面以基于目标检测与分类的飞机大面积结冰检测方法及系统为例，通过具体的实施例对本发明的技术方案作进一步描述。
实施例1
该飞机大面积结冰检测方法包括：
对采集的飞机表面多角度图像进行预处理及标注，得到训练数据集，按照不同的标签类型将得到的训练数据集划分为冰型训练数据集和积冰坐标训练数据集；
根据空气湿度
Figure 252577DEST_PATH_IMAGE001
、环境温度
Figure 27635DEST_PATH_IMAGE002
、风速
Figure 951729DEST_PATH_IMAGE003
和气压
Figure 320393DEST_PATH_IMAGE004
的外部环境条件以及飞机机身上表 面、机身下表面、机翼上表面、机翼下表面各区域分布的积冰点，利用积冰坐标训练数据集 训练积冰坐标网络模型，并输出图像采集区域
Figure 745558DEST_PATH_IMAGE005
，倾向采集积冰信息图像的图像采集区域
Figure 516068DEST_PATH_IMAGE005
为积冰宏观特征；
根据划分的冰型训练数据集训练冰型识别网络模型，输出需检测的飞机机身各区 域分割积冰图片中的积冰冰型
Figure 470118DEST_PATH_IMAGE006
，积冰冰型
Figure 591657DEST_PATH_IMAGE006
为积冰微观特征；
基于输出图像采集区域
Figure 430300DEST_PATH_IMAGE005
和积冰冰型
Figure 914371DEST_PATH_IMAGE006
建立积冰强度等级计算公式，并按照积冰 强度等级计算除冰液用量。
实施例2
如图1所示，基于目标检测与分类的飞机大面积结冰检测方法具体包括：
步骤（1）通过多角度图像采集设备，采集飞机的机翼、机身的上表面以及下表面图像作为原始图像；
步骤（2）基于图像预处理算法，对步骤（1）中飞机表面积冰原始图像进行预处理，作为积冰坐标训练数据集中的训练和测试图像样本；
步骤（3）基于多维度协同传感器，采集并记录机身上表面、机身下表面、机翼上表 面、机翼下表面各区域图像对应的空气湿度
Figure 180268DEST_PATH_IMAGE001
、环境温度
Figure 400157DEST_PATH_IMAGE002
、风速
Figure 42491DEST_PATH_IMAGE003
和气压
Figure 912227DEST_PATH_IMAGE004
；
步骤（4）采用积冰坐标训练数据集，训练积冰坐标网络模型，得到飞机各表面区域的积冰位置坐标，并统计各个区域积冰数量；
步骤（5）为进一步判断飞机积冰严重区域，以上述网络输出的各区域积冰数量以 及外部典型环境条件参数作为输入，通过区域选定网络模型获得该外部条件下的倾向采集 积冰信息图像的图像采集区域
Figure 349024DEST_PATH_IMAGE005
；
步骤（6）采用标定的冰型训练数据集，训练积冰识别网络模型，得到基于分割图像 的积冰冰型
Figure 179577DEST_PATH_IMAGE006
以及其对应的面积
Figure 484657DEST_PATH_IMAGE007
和厚度
Figure 84265DEST_PATH_IMAGE008
；
步骤（7）集成上述两个网络模型，作为飞机大面积结冰检测系统，其输入为外部环 境条件和经过预处理的飞机表面图像，输出图像采集区域
Figure 816598DEST_PATH_IMAGE005
及其覆盖范围内的积冰坐标和 积冰冰型
Figure 868867DEST_PATH_IMAGE006
；
步骤（8）根据采集区域内的积冰数量和对应的冰型，按照积冰强度等级计算公式计算其强度等级；
步骤（9）以积冰强度等级作为依据，计算除冰液用量作为系统辅助决策的输出。
其中，步骤（2）基于图像预处理算法利用图2提供的现有RPN神经网络进行图像预处理，包括：利用滤波器1获得处理后的图像尺寸，进行向量卷积计算，对于计算结果，一路利用滤波器2对进行特征提取，另一路进行二维矩阵卷积计算，对于该路计算结果，其中一分支利用滤波器3进行进一步特征提取，另一分支利用滤波器4进行三维矩阵卷积运算，对三维矩阵卷积运算结果利用滤波器5进行四维矩阵卷积运算；对四维矩阵卷积运算结果继续进行五维矩阵卷积运算，将运算结果输出全连接层以及输出激活函数。
实施例3
在上述实施例2实施过程中，所述步骤（4）的积冰坐标网络模型的建模和实际应用过程如下：采用三种不同面积和三种不同的长宽比排列组合得到九种尺寸的窗口作为初始检测框，对完成预处理的飞机表面图像进行锚定操作。
通过softmax层对各锚定检测框内真值预测，得到网络模型对于积冰图像分类的判定，基于此通过与真实标签对比检测框内是否存在积冰图像。
对存在积冰图像的检测框，通过以下两个步骤对检测框的位置和尺寸进一步回归：
Step1：平移。将初始检测框的中心坐标
Figure 853004DEST_PATH_IMAGE055
转换为预测的真实积冰图像坐 标
Figure 431753DEST_PATH_IMAGE036
，计算公式如下：
Figure 210353DEST_PATH_IMAGE037
Figure 874553DEST_PATH_IMAGE113
（1）
Step2：缩放。将初始检测框的宽度
Figure 396801DEST_PATH_IMAGE040
、高度
Figure 95635DEST_PATH_IMAGE041
转换为预测的真实积冰图像宽度
Figure 45137DEST_PATH_IMAGE044
和高度
Figure 931053DEST_PATH_IMAGE008
，计算公式如下：
Figure 522572DEST_PATH_IMAGE045
Figure 685700DEST_PATH_IMAGE114
（2）
其中
Figure 930736DEST_PATH_IMAGE047
、
Figure 710473DEST_PATH_IMAGE048
、
Figure 699158DEST_PATH_IMAGE115
、
Figure 982372DEST_PATH_IMAGE116
分别为网络模型拟合的对应变换关系。
完成上述检测框位置和尺寸的回归操作后，综合网络模型的分类网络层cls和回归网络层reg的损失值以计算检测框的损失值，损失函数表达式如下：
Figure 539255DEST_PATH_IMAGE117
（3）
其中
Figure 399764DEST_PATH_IMAGE010
是检测框的索引值，
Figure 67505DEST_PATH_IMAGE011
和
Figure 329859DEST_PATH_IMAGE012
分别是检测框的真假分类标签和表征向量的预测 值，
Figure 57644DEST_PATH_IMAGE013
和
Figure 405449DEST_PATH_IMAGE014
分别是检测框的真假分类标签和表征向量的真实值，
Figure 876881DEST_PATH_IMAGE015
和
Figure 869108DEST_PATH_IMAGE016
是归一化参 数，
Figure 158007DEST_PATH_IMAGE017
是两项的平衡参数。
对于上述公式种提及的检测框表征向量
Figure 602895DEST_PATH_IMAGE049
，其中的各元素 计算公式如下：
Figure 737073DEST_PATH_IMAGE050
Figure 849385DEST_PATH_IMAGE051
Figure 778027DEST_PATH_IMAGE052
Figure 241370DEST_PATH_IMAGE118
（4）
其中
Figure 789026DEST_PATH_IMAGE119
分别表示检测框中心坐标
Figure 886338DEST_PATH_IMAGE055
、宽度
Figure 861247DEST_PATH_IMAGE044
和高度
Figure 936519DEST_PATH_IMAGE008
的对 应损失计算参数。
通过ROI pooling层分别对网络输出的区域提议值和边界区域分割单元进行整数化，减少区域选定过程的计算量；
使用ROI Align方法将步骤五中的特征图和原始图像对准（alignment），提升检测 精度，利用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，并在此后对采样 点使用maxpooling层，设离采样点最近的四个整数坐标点的坐标分别为
Figure 287866DEST_PATH_IMAGE020
、
Figure 233825DEST_PATH_IMAGE021
、
Figure 910794DEST_PATH_IMAGE022
、
Figure 676625DEST_PATH_IMAGE023
，则双线性插值坐标计算公式如下所示：
Figure 831663DEST_PATH_IMAGE024
Figure 773074DEST_PATH_IMAGE025
Figure 214420DEST_PATH_IMAGE026
Figure 874071DEST_PATH_IMAGE027
（5）
基于上述操作，实现对积冰坐标检测的功能，并在此基础上统计各个区域的积冰分布情况。具体而言，通过对50组飞机表面图像中的所有积冰点坐标识别和统计，得到的检测结果与实际积冰标签值之间的对比；
对于两者之间平均误差值的统计如下表1所示；
Figure 691854DEST_PATH_IMAGE120
其中，平均误差是指50组飞机表面图像实验测试数据的测试中，模型识别的各个区域积冰点数量与实际数量之间的差距平均值；对应表1的统计结果，如图3所示，为检测模型识别机身上表面（区域1）积冰数量统计图，平均误差在1.040；
如图4所示，为检测模型识别机身下表面（区域2）积冰数量统计图，平均误差在1.420；
如图5所示，为检测模型识别机翼上表面积（区域3）冰数量统计图，平均误差在1.420；
如图6所示，为检测模型识别机翼下表面（区域4）积冰数量统计图，平均误差在1.740。
从上表以及图3-图6中可以看出，本发明中提出的积冰坐标识别模型能够较好地识别积冰位置信息，为进一步类型和强度等级识别提供良好的初始数据。
实施例4
在上述实施例3实施过程中，通过提出的积冰坐标网络模型，对飞机俯视和侧视表 面中的积冰进行边缘检测，得到积冰的面积
Figure 487772DEST_PATH_IMAGE121
和厚度
Figure 365598DEST_PATH_IMAGE123
参数。
飞机表面图像采集通过基于FPGA芯片的图像采集，结合FPGA芯片的CMOS图像采集，其优势主要有以下几点：
1）以FPGA芯片为模块核心，在使用过程中可以通过直接对硬件的编程方式根据需求改变模块内部的耦合关系，如输入输出口、内部互联资源和逻辑功能模块等，以实现对不同使用需求的适应性修改，灵活性较好；
2）FPGA芯片能够提供极低的响应延迟，且能够实现数据的流处理，该特性能够保证在在积冰检测中图像采集模块反馈相应的实时性；
3）通过FPGA芯片内部可编程的特性可以有效减少外围电路设计的复杂性，只需要相对简单的外设即可实现图像的采集功能和预处理算法，且仅需对其内部参数调整即可达到上述效果，操作复杂性低。
积冰坐标网络模型对积冰边缘检测的步骤如下：
采用基于Kirsch检测算子的边缘检测神经网络模型分别对飞机表面的俯视图和侧视图检测图像边缘，其具体流程如下：
Step1：计算输入样本向量
Figure 246967DEST_PATH_IMAGE124
对应的各输入神经元
Figure 743807DEST_PATH_IMAGE061
与各隐层神经元
Figure 518865DEST_PATH_IMAGE010
之间的权值
Figure 708538DEST_PATH_IMAGE125
之间的距离
Figure 201836DEST_PATH_IMAGE126
：
Figure 236788DEST_PATH_IMAGE127
（6）
其中
Figure 866353DEST_PATH_IMAGE128
为样本向量的第
Figure 226927DEST_PATH_IMAGE061
个元素，
Figure 82887DEST_PATH_IMAGE129
为各隐层神经元之间的权值；
Step2：通过距离最小的神经元得到的输出如下：
Figure 780585DEST_PATH_IMAGE130
（7）
Figure 671181DEST_PATH_IMAGE064
和
Figure 61711DEST_PATH_IMAGE131
是隐层神经元的序号，且满足
Figure 139388DEST_PATH_IMAGE132
,其中
Figure 906356DEST_PATH_IMAGE133
是由隐层神经元得到的输出结 果，
Figure 385879DEST_PATH_IMAGE134
是由输出神经元得到的输出结果；
Step3：得到输出的第
Figure 947310DEST_PATH_IMAGE135
个像素点的边缘预测值
Figure 512284DEST_PATH_IMAGE136
；
Step4：设正确的边缘标签值为
Figure 551784DEST_PATH_IMAGE137
，对于距离最小的隐层神经元
Figure 151392DEST_PATH_IMAGE064
，如果有
Figure 24670DEST_PATH_IMAGE138
，则按照下式调整权值：
Figure 201574DEST_PATH_IMAGE139
（8）
反之，若
Figure 920131DEST_PATH_IMAGE140
，则按照下式调整权值：
Figure 493021DEST_PATH_IMAGE141
（9）
Step5：重复step1~step4直至完成所有样本的训练过程。
基于上述步骤，得到积冰的面积
Figure 537200DEST_PATH_IMAGE142
和厚度
Figure 201400DEST_PATH_IMAGE143
参数，并用于进一步的冰型冰型识别 中。
实施例5
在上述实施例4实施过程中，基于识别的积冰尺寸参数以及积冰形态，为平衡网络 复杂度和准确度，使用ResNet101-FPN特征提取网络模型拟合积冰的冰型分类
Figure 989227DEST_PATH_IMAGE144
；
计算积冰识别网络模型的性能指标。为使得模型性能指标更具有直观性，采用AUC曲线法作为评估指标的计算步骤如下：
Step1：通过冰型训练数据集获得模型在分类过程中的混淆矩阵元素TP、FN、FP、TN值，分别表示真正数量、假负数量、假正数量和真负数量。基于此计算灵敏度TPR和1-特异度FPR，计算公式如下：
Figure 297849DEST_PATH_IMAGE080
Figure 371984DEST_PATH_IMAGE145
（10）
Step2：根据不同接受阈值下计算得到的灵敏度TPR和1-特异度FPR做出ROC曲线；
Step3：采用梯形近似法计算ROC曲线下方至
Figure 398846DEST_PATH_IMAGE146
轴之间包围面积得到AUC值，其计算 公式如下：
Figure 849419DEST_PATH_IMAGE082
（11）
其中
Figure 12547DEST_PATH_IMAGE147
是输入神经元的阶数，M，N为正负样本的个数。
按照上述方式得到的模型ROC曲线和AUC值如图7所示，图中的曲线为ROC曲线，其下方包围区域的面积（图中标出的阴影区域）为AUC值。
实施例6
在上述实施例2实施过程中，在步骤（9）中通过本发明提出的积冰强度等级计算公 式和除冰液用量计算公式计算除冰液用量。积冰强度等级通常使用积冰指数作为衡量指 标，得到基于多指标融合的模糊隶属度积冰强度等级计算公式。以加权多种结冰强度计算 公式（IC指数法、RAOB积冰判定方案）作为基础，将传感器接收到的空气湿度
Figure 257583DEST_PATH_IMAGE148
、环境温度
Figure 37320DEST_PATH_IMAGE149
、 风速
Figure 901371DEST_PATH_IMAGE150
和气压
Figure 43640DEST_PATH_IMAGE151
外部环境量以及积冰的总面积和厚度作为计算公式中的考虑因素，得到的 各部分计算公式如下所示：
Figure 600523DEST_PATH_IMAGE086
Figure 726611DEST_PATH_IMAGE087
Figure 128773DEST_PATH_IMAGE152
（12）
其中
Figure 391127DEST_PATH_IMAGE153
、
Figure 384491DEST_PATH_IMAGE154
分别为
Figure 342083DEST_PATH_IMAGE155
指数法、
Figure 938149DEST_PATH_IMAGE156
积冰判定方案计算得到的积冰模糊隶属 度数值，
Figure 930376DEST_PATH_IMAGE157
为权利要求2中步骤6）设计的积冰识别网络模型
Figure 953696DEST_PATH_IMAGE158
得到的模糊隶属度数值，
Figure 664163DEST_PATH_IMAGE159
为飞机表面温度。
以
Figure 798341DEST_PATH_IMAGE155
指数法、
Figure 910653DEST_PATH_IMAGE156
积冰判定法、冰识别网络模型
Figure 980240DEST_PATH_IMAGE158
得到的模糊隶属度积冰 强度计算公式作为加权基础，得到基于多指标融合的模糊隶属度积冰强度等级计算公式 为：
Figure 37058DEST_PATH_IMAGE096
其中
Figure 850293DEST_PATH_IMAGE160
、
Figure 207325DEST_PATH_IMAGE161
、
Figure 182235DEST_PATH_IMAGE162
为各项指标的归一化参数，
Figure 991928DEST_PATH_IMAGE153
、
Figure 608854DEST_PATH_IMAGE154
分别为
Figure 430179DEST_PATH_IMAGE155
指数法、
Figure 966203DEST_PATH_IMAGE156
积冰 判定法计算得到的积冰强度模糊隶属度数值，
Figure 872979DEST_PATH_IMAGE157
为的积冰识别网络模型
Figure 152651DEST_PATH_IMAGE158
得到的积冰 强度模糊隶属度数值；
为验证本发明提出的基于多指标融合的模糊隶属度积冰强度等级计算公式的有效性，通过5组计算测试实验，每组分别包含1000个测试集样本，分别以单采用IC指数法和RAOB疾病判定方案作为对比实验组，得到的判定准确度（正确预测样本的占比）实验结果如下表2所示；
Figure 828483DEST_PATH_IMAGE163
通过实验结果可知，提出的积冰强度等级计算公式能够以强于两种单评价指标系数10.17%和7.22%的准确度判定飞机表面的积冰强度等级。
将计算得到的积冰强度等级，加入积冰分布数量以及面积大小的考虑，提出一种 除冰液用量的计算方式。定义单位体积积冰所需的除冰液量为
Figure 541267DEST_PATH_IMAGE164
，得到基于Mask RCNN网络 模型积冰图像检测的除冰液用量计算公式如下所示：
Figure 200918DEST_PATH_IMAGE165
（14）
其中，
Figure 894068DEST_PATH_IMAGE166
为被检测的飞机表面区域数量，
Figure 814619DEST_PATH_IMAGE167
为区域
Figure 567812DEST_PATH_IMAGE010
中积冰数量总和，
Figure 573814DEST_PATH_IMAGE168
为区域
Figure 70654DEST_PATH_IMAGE010
中 积冰厚度，
Figure 845712DEST_PATH_IMAGE169
为区域
Figure 769806DEST_PATH_IMAGE010
中第
Figure 263104DEST_PATH_IMAGE061
个积冰点的积冰面积，
Figure 563635DEST_PATH_IMAGE170
为除冰液用量计算中设置的单位体积，
Figure 68566DEST_PATH_IMAGE171
为积冰强度等级归一化参数。
实施例7
如图8所示，本发明实施例还提供一种基于目标检测与分类的飞机大面积结冰检测系统包括：
数据采集模块1，其用于采集飞机表面多角度图像作为原始图片；
数据处理模块2，其对采集图片进行预处理，再标注得到训练数据集，按照不同的 标签类型将数据分为冰型和坐标两个训练集；根据外部环境条件（空气湿度
Figure 288195DEST_PATH_IMAGE172
、环境温度
Figure 878576DEST_PATH_IMAGE173
、 风速
Figure 841853DEST_PATH_IMAGE174
和气压
Figure 732449DEST_PATH_IMAGE135
等）以及飞机机身各区域的积冰点分布来训练区域选定神经网络，输出倾向 采集积冰信息图像的区域
Figure 122979DEST_PATH_IMAGE175
，即其积冰宏观特征；根据标定的冰型训练数据集训练冰型识 别网络模型，输出检测区域分割积冰图片中的积冰冰型
Figure 200656DEST_PATH_IMAGE144
，即积冰微观特征；
除冰液计算模块3，其基于上述两种网络模型，输出为图像采集区域
Figure 842990DEST_PATH_IMAGE175
和积冰的冰 型
Figure 447147DEST_PATH_IMAGE176
，建立基于图像采集区域和积冰冰型的积冰强度等级计算公式，并按照积冰强度等级 计算除冰液用量。
实施例8
基于上述实施例7，如图9所示，本发明实施例提供的数据采集模块1基于FPGA芯片模块1-1和对应的多个CMOS图像采集模块1-2，分别对飞机机翼上表面、机翼下表面、机身上表面、机身下表面以及与之相对应的侧面图像采集并形成数据库样本组，用于网络模型的训练、测试以及使用过程中的积冰检测输入。
实施例9
基于上述实施例7，如图10所示，数据处理模块2进一步包括：
图像采集区域推荐模块2-1。该模块基于历史数据训练，通过外部环境条件变量及该条件下积冰分布的特征以当前状态下积冰存在可能性最大的区域输出作为推荐的图像采集区域；
积冰坐标定位模块2-2。该模块通过区域推荐网络模型，对飞机表面各个区域的图像中存在的积冰的位置坐标识别并输出，同时将同一组飞机表面图像的中积冰坐标统计作为该外部环境状态下的积冰分布数据，作为图像采集区域推荐模块2-1的训练数据；
积冰特征识别模块2-3。通过基于Kirsch检测算子的边缘检测神经网络模型分别 检测飞机表面的俯视图和侧视图，得到积冰的面积
Figure 883944DEST_PATH_IMAGE121
和厚度
Figure 573551DEST_PATH_IMAGE123
，并结合冰型识别网络模型输 出的积冰类型
Figure 753997DEST_PATH_IMAGE144
作为后续模块辅助决策变量。
应用例1
本发明应用实施例提供了一种飞机大面积积冰检测计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
应用例2
本发明应用实施例还提供了一种飞机大面积积冰检测结果的计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
应用例3
本发明实施例提供了一种飞机大面积积冰检测计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的飞机大面积积冰检测单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的飞机大面积积冰检测计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述飞机大面积积冰检测计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种飞机大面积结冰检测方法，其特征在于，所述飞机大面积结冰检测方法包括以下步骤：
步骤(1)通过多角度图像采集设备，采集飞机的机身上表面、机身下表面、机翼上表面、机翼下表面的图像，作为原始图像；
步骤(2)基于图像预处理算法，对上述原始图像进行预处理，作为积冰坐标训练数据集中的训练和测试图像样本；
步骤(3)基于多维度协同传感器，采集并记录机身上表面、机身下表面、机翼上表面、机翼下表面的区域图像对应的空气湿度
Figure FDA0003685686340000011
环境温度T、风速v和气压p；
步骤(4)采用所述积冰坐标训练数据集，训练积冰坐标网络模型，得到飞机各区域表面的积冰位置坐标，并统计各区域积冰数量；
步骤(5)根据空气湿度
Figure FDA0003685686340000012
环境温度T、风速v和气压p的外部环境条件参数以及飞机机身上表面、机身下表面、机翼上表面、机翼下表面各区域分布的积冰数量作为输入参数，利用所述积冰坐标训练数据集训练所述积冰坐标网络模型，输出图像采集区域R；
步骤(6)采用标定的冰型训练数据集，训练积冰识别网络模型，得到基于分割图像的积冰冰型u以及对应的面积s和厚度h；
步骤(7)通过所述积冰坐标网络模型和所述积冰识别网络模型，输入外部环境条件和经过预处理的飞机表面图像，输出倾向采集积冰信息图像的图像采集区域R以及覆盖范围内的积冰坐标和积冰冰型u；
步骤(8)基于所述图像采集区域R内的积冰数量和对应的积冰冰型u，按照积冰强度等级计算公式计算强度等级；
步骤(9)以积冰强度等级作为依据，计算除冰液用量并输出；
所述积冰强度等级计算公式中使用积冰指数作为衡量指标，得到基于多指标融合的模糊隶属度积冰强度等级计算公式；将传感器接收到的空气湿度
Figure FDA0003685686340000013
环境温度T、风速v和气压p外部环境量以及积冰的总面积S和厚度h作为计算公式中的因素，计算公式为：
Figure FDA0003685686340000021
IRAOB＝T-Td
Figure FDA0003685686340000022
其中T为环境温度，
Figure FDA0003685686340000023
为空气湿度，IIC、IRAOB分别为IC指数法、RAOB积冰判定法计算得到的积冰强度模糊隶属度数值，IVO为的积冰识别网络模型DNN1得到的积冰强度模糊隶属度数值，Td为飞机表面温度；
以IC指数法、RAOB积冰判定法、冰识别网络模型DNN1得到的模糊隶属度积冰强度计算公式作为加权基础，得到基于多指标融合的模糊隶属度积冰强度等级计算公式为：
I＝τIIC+σIRAOB+δIVO
其中τ、σ、δ为各项指标的归一化参数，IIC、IRAOB分别为IC指数法、RAOB积冰判定法计算得到的积冰强度模糊隶属度数值，IVO为的积冰识别网络模型DNN1得到的积冰强度模糊隶属度数值。
2.根据权利要求1所述的飞机大面积结冰检测方法，其特征在于，在步骤(4)中，采用所述积冰坐标训练数据集，训练积冰坐标网络模型，得到飞机各区域表面的积冰位置坐标包括：
步骤一、采用三种不同面积和三种不同的长宽比排列组合得到九种尺寸窗口，作为初始检测框，对完成预处理的飞机表面图像进行锚定操作；
步骤二：以softmax层对各锚定检测框内真值预测，判定检测框内是否存在积冰图像；
步骤三：对存在积冰图像的检测框的位置和尺寸进一步回归；
步骤四：综合积冰坐标网络模型的分类网络层cls和回归网络层reg的损失值以计算检测框的损失值，损失函数表达式为：
Figure FDA0003685686340000024
其中i是检索框的索引值，Pi和ti分别是检索框的真假分类标签和表征向量的预测值，
Figure FDA0003685686340000025
和
Figure FDA0003685686340000026
分别是检索框的真假分类标签和表征向量的真实值，Ncls和Nreg是归一化参数，λ是两项的平衡参数，
Figure FDA0003685686340000031
为分类网络层cls的损失值，
Figure FDA0003685686340000032
回归网络层reg的损失值；
步骤五：通过ROI pooling层分别对网络输出的区域提议值和边界区域分割单元进行整数化；
步骤六：使用ROI Align方法特征图像和原始图像对准，利用双线性插值的方法获得坐标为浮点数的像素点上的图像数值，并对采样点使用maxpooling层，设离采样点最近的四个整数坐标点的坐标分别为A1(x′1，y′1)、A2(x′2，y′1)、A3(x′1，y′2)、A4(x′2，y′2)，则双线性插值坐标计算公式为：
Figure FDA0003685686340000033
其中，f(A1)为A1的插值纵坐标，f(A2)为A2的插值纵坐标，f(A3)为A3的插值纵坐标，f(A4)为A4的插值纵坐标。
3.根据权利要求2所述的飞机大面积结冰检测方法，其特征在于，在步骤三中，对存在积冰图像的检测框的位置和尺寸进一步回归包括：
步骤1：将初始检测框的中心坐标转换为预测的真实积冰图像坐标(x，y)，计算公式为：
x＝ωa·dx(xa)+xa
y＝ha·dy(ya)+ya
其中，xa,ya为初始检测框的中心坐标，ωa为初始检测框的宽度，ha为初始检测框的高度，dx(xa)为网络模型拟合对应宽度的变化关系，dy(ya)为网络模型拟合对应高度的变化关系；
步骤2：将初始检测框的宽度ωa、高度ha转换为预测的真实积冰图像宽度ω和高度h，计算公式为：
ω＝ωa·exp(dx(ωa))
h＝ha·exp(dy(ha))
其中，dx(n)、dy(n)分别为网络模型拟合的对应变换关系。
4.根据权利要求2所述的飞机大面积结冰检测方法，其特征在于，在步骤四中，检索框的表征向量t＝(tx，ty，tω，th)，各元素计算公式为：
Figure FDA0003685686340000041
Figure FDA0003685686340000042
Figure FDA0003685686340000043
Figure FDA0003685686340000044
其中tx，ty，tω，th分别表示检索框中心坐标(xa，ya)、宽度ω和高度h的对应损失计算参数。
5.根据权利要求1所述的飞机大面积结冰检测方法，其特征在于，在步骤(6)中，所述积冰识别网络模型的识别方法包括：
步骤1)：检测积冰点对应的面积s和厚度h，确定积冰的尺寸参数，采用基于Kirsch检测算子的边缘检测神经网络模型分别对飞机俯视和侧视表面进行检测；
步骤2)：基于识别的积冰尺寸参数以及积冰形态，使用ResNet101-FPN特征提取网络模型拟合积冰冰型u；
步骤3)：计算积冰识别网络模型的性能指标，采用AUC曲线作为评估指标。
6.根据权利要求5所述的飞机大面积结冰检测方法，其特征在于，所述检测积冰点对应的面积s和厚度h，确定积冰的尺寸参数，采用基于Kirsch检测算子的边缘检测神经网络模型分别对飞机俯视和侧视表面进行检测包括以下步骤：
1.1)：计算输入样本向量U对应的各输入神经元j与各隐层神经元i之间的距离di：
Figure FDA0003685686340000051
其中，uj为样本向量的第j个元素，
Figure FDA0003685686340000052
为各隐层神经元之间的权值；
1.2)：通过距离最小的神经元得到的输出为：
Figure FDA0003685686340000053
其中，i和k是隐层神经元的序号，且满足k≠i；
Figure FDA0003685686340000054
是由隐层神经元得到的输出结果，
Figure FDA0003685686340000055
是由输出神经元得到的输出结果；
1.3)：得到输出的第p个像素点的边缘预测值Ep；
1.4)：正确的边缘标签值为Eep，对于距离最小的隐层神经元i，若Ep＝Eep，按照下式调整权值：
Figure FDA0003685686340000056
若Ep≠Eep，则按照下式调整权值：
Figure FDA0003685686340000057
其中，
Figure FDA0003685686340000058
是第p+1个像素点的权值，
Figure FDA0003685686340000059
是第p个像素点的权值，
Figure FDA00036856863400000510
是距离最小隐身神经元与输入神经元之间的广义距离；
1.5)：重复步骤1.1)-步骤1.4)，直至完成所有样本的训练。
7.根据权利要求5所述的飞机大面积结冰检测方法，其特征在于，所述计算积冰识别网络模型的性能指标，采用AUC曲线作为评估指标包括以下步骤：
3.1)：通过冰型训练数据集获得模型在分类过程中的混淆矩阵元素TP、FN、FP、TN值，分别表示真正数量、假负数量、假正数量和真负数量，计算灵敏度TPR和1-特异度FPR，计算公式为：
Figure FDA0003685686340000061
Figure FDA0003685686340000062
3.2)：根据不同阈值下计算得到的灵敏度TPR和1-特异度FPR作出ROC曲线；
3.3)：采用梯形近似法计算ROC曲线下方至x轴之间包围面积，得到AUC值，计算公式为：
Figure FDA0003685686340000063
其中ranki是输入神经元的阶数，M，N为正负样本的个数。
8.根据权利要求1所述的飞机大面积结冰检测方法，其特征在于，在步骤(9)中，计算除冰液用量并输出包括：
通过计算得到积冰强度等级，加入对积冰分布、数量以及面积大小，定义单位体积积冰所需的除冰液量为l0，结合积冰坐标网络模型和冰型识别网络模型，得到基于Mask RCNN网络模型积冰图像检测的除冰液用量计算公式：
Figure FDA0003685686340000064
其中，m为被检测的飞机表面区域数量，ni为区域i中积冰数量总和，hi为区域i中积冰厚度，sij为区域i中第j个积冰点的积冰面积，s0为除冰液用量计算中设置的单位体积，N＇为积冰强度等级归一化参数。
9.一种实施权利要求1-8任意一项所述飞机大面积结冰检测方法的飞机大面积结冰检测系统，其特征在于，所述飞机大面积结冰检测系统包括：
数据采集模块(1)，用于采集飞机表面多角度图像作为原始图片；
数据处理模块(2)，对采集图片进行预处理，再标注得到训练数据集，按照不同的标签类型将数据分为冰型和坐标两个训练集；根据空气湿度
Figure FDA0003685686340000065
环境温度T、风速v和气压p以及飞机机身各区域的积冰点分布来训练区域选定神经网络，输出倾向采集积冰信息图像的区域R；根据标定的冰型训练数据集训练冰型识别网络模型，输出检测区域分割积冰图片中的积冰冰型u；
除冰液计算模块(3)，基于积冰坐标网络模型和冰型识别网络模型，输出为图像采集区域R和积冰冰型u，建立基于图像采集区域和积冰冰型的积冰强度等级计算公式，并按照积冰强度等级计算除冰液用量。
CN202210449576.0A 2022-04-24 2022-04-24 一种飞机大面积结冰检测方法及检测系统 Active CN114549914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210449576.0A CN114549914B (zh) 2022-04-24 2022-04-24 一种飞机大面积结冰检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210449576.0A CN114549914B (zh) 2022-04-24 2022-04-24 一种飞机大面积结冰检测方法及检测系统

Publications (2)

Publication Number Publication Date
CN114549914A CN114549914A (zh) 2022-05-27
CN114549914B true CN114549914B (zh) 2022-07-12

Family

ID=81666700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210449576.0A Active CN114549914B (zh) 2022-04-24 2022-04-24 一种飞机大面积结冰检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN114549914B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100548A (zh) * 2022-06-09 2022-09-23 国网江苏省电力有限公司泰州供电分公司 一种基于无人机巡检的冬季配电区覆雪状态检测方法
CN115292656B (zh) * 2022-09-22 2022-12-20 北京弘象科技有限公司 一种基于模糊逻辑的飞机积冰预测方法和装置
CN115860464B (zh) * 2022-11-24 2023-08-18 中国民航科学技术研究院 航线飞机积冰风险区识别及其特征参数的构建装置及方法
CN115857059B (zh) * 2022-11-24 2023-07-07 中国民航科学技术研究院 一种积冰预报管理方法、系统、可读存储介质和设备
CN115619777B (zh) * 2022-12-05 2023-03-17 中国民航大学 道面冰雪状态的检测方法、系统和计算机可读存储介质
CN115892477B (zh) * 2023-01-09 2023-05-02 中国空气动力研究与发展中心低速空气动力研究所 结冰范围的等离子体探测方法、装置及存储介质、程序
CN116992310B (zh) * 2023-09-26 2023-12-15 北京弘象科技有限公司 飞机积冰实时监测预警方法、系统、电子设备及介质
CN117093953B (zh) * 2023-10-20 2023-12-19 成都流体动力创新中心 一种多气象要素融合的飞机结冰快速修正预测方法和系统
CN117493738B (zh) * 2023-12-28 2024-04-05 成都流体动力创新中心 一种基于结冰数值仿真的飞机结冰程度预报方法及系统
CN117822371B (zh) * 2024-03-05 2024-06-04 中国电建集团昆明勘测设计研究院有限公司 一种道路的防结冰方法、装置、设备及存储介质
CN118470655B (zh) * 2024-07-11 2024-09-24 西安理工大学 一种基于深度学习的飞机结冰场景识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854055A (zh) * 2014-03-31 2014-06-11 南京工程学院 基于神经网络及模糊逻辑算法的输电线路覆冰预测模型
CN109118534A (zh) * 2018-07-13 2019-01-01 同济大学 基于机器视觉图像实时获取冰风洞内模型表面上结冰冰型详细信息的方法
CN111291505A (zh) * 2020-05-08 2020-06-16 中国空气动力研究与发展中心低速空气动力研究所 一种基于深度置信网络的翼型结冰冰形预测方法及装置
CN113449769A (zh) * 2021-05-18 2021-09-28 内蒙古工业大学 输电线路覆冰识别模型训练方法、识别方法及存储介质
CN114091185A (zh) * 2022-01-24 2022-02-25 中国民航大学 一种飞机表面积冰演化状态辨识方法及系统
CN114372960A (zh) * 2021-12-17 2022-04-19 中国民航大学 基于图像理解的飞机地面积冰检测方法、系统、终端及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117858B (zh) * 2017-06-26 2024-02-13 北京金风科创风电设备有限公司 监测风力发电机叶片结冰的方法及装置
CN112883969B (zh) * 2021-03-01 2022-08-26 河海大学 一种基于卷积神经网络的降雨强度检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854055A (zh) * 2014-03-31 2014-06-11 南京工程学院 基于神经网络及模糊逻辑算法的输电线路覆冰预测模型
CN109118534A (zh) * 2018-07-13 2019-01-01 同济大学 基于机器视觉图像实时获取冰风洞内模型表面上结冰冰型详细信息的方法
CN111291505A (zh) * 2020-05-08 2020-06-16 中国空气动力研究与发展中心低速空气动力研究所 一种基于深度置信网络的翼型结冰冰形预测方法及装置
CN113449769A (zh) * 2021-05-18 2021-09-28 内蒙古工业大学 输电线路覆冰识别模型训练方法、识别方法及存储介质
CN114372960A (zh) * 2021-12-17 2022-04-19 中国民航大学 基于图像理解的飞机地面积冰检测方法、系统、终端及介质
CN114091185A (zh) * 2022-01-24 2022-02-25 中国民航大学 一种飞机表面积冰演化状态辨识方法及系统

Also Published As

Publication number Publication date
CN114549914A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114549914B (zh) 一种飞机大面积结冰检测方法及检测系统
Senthilnath et al. Hierarchical clustering algorithm for land cover mapping using satellite images
CN112101278A (zh) 基于k近邻特征提取和深度学习的宅基地点云分类方法
Zhang et al. SEFEPNet: Scale expansion and feature enhancement pyramid network for SAR aircraft detection with small sample dataset
CN107491734B (zh) 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法
Hicks et al. Method for classification of snowflakes based on images by a multi-angle snowflake camera using convolutional neural networks
CN103366184B (zh) 基于混合分类器的极化sar数据分类方法及系统
CN110533069A (zh) 一种基于支持向量机算法的二维箔条分布特性识别方法
CN108765374B (zh) 一种宫颈涂片图像中异常核区域筛查的方法
CN113838010B (zh) 基于红外热波及卷积神经网络的复合材料损伤智能检测方法
CN104732551A (zh) 基于超像素和图割优化的水平集图像分割方法
Ma et al. Structural fault diagnosis of UAV based on convolutional neural network and data processing technology
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN114596315A (zh) 一种飞机地面检测积冰方法、装置、系统及计算机设备
Wang et al. Research on vehicle detection based on faster R-CNN for UAV images
Zhang et al. Remotely sensed crop disease monitoring by machine learning algorithms: A review
Zu et al. Detection of common foreign objects on power grid lines based on Faster R-CNN algorithm and data augmentation method
Wang et al. Efficient object detection method based on improved YOLOv3 network for remote sensing images
Li Droplets image segmentation method based on machine learning and watershed
CN116304966A (zh) 基于多源数据融合的航迹关联方法
Zhao et al. Robust power line extraction from aerial image using object-based Gaussian–Markov random field with gravity property parameters
Wang et al. High-Voltage Transmission Line Foreign Object and Power Component Defect Detection Based on Improved YOLOv5
Xu et al. Infrared target recognition with deep learning algorithms
Zongqi Transmission line inspection image recognition technology based on YOLOv2 network
CN113298155A (zh) 一种基于sf-ssd算法的机场跑道地下病害检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant