CN114372960A - 基于图像理解的飞机地面积冰检测方法、系统、终端及介质 - Google Patents

基于图像理解的飞机地面积冰检测方法、系统、终端及介质 Download PDF

Info

Publication number
CN114372960A
CN114372960A CN202111553878.4A CN202111553878A CN114372960A CN 114372960 A CN114372960 A CN 114372960A CN 202111553878 A CN202111553878 A CN 202111553878A CN 114372960 A CN114372960 A CN 114372960A
Authority
CN
China
Prior art keywords
image
ice
ice accretion
airplane
thickness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111553878.4A
Other languages
English (en)
Inventor
邢志伟
阚犇
李彪
王立文
龚淼
陈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202111553878.4A priority Critical patent/CN114372960A/zh
Publication of CN114372960A publication Critical patent/CN114372960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于飞机地面积冰检测技术领域，公开了基于图像理解的飞机地面积冰检测方法、系统、终端及介质。对采集的飞机地面积冰图像进行预处理并标注飞机地面积冰特性；对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性，结合冰厚计算与冰型识别结果，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。本发明只需用相机对积冰区域采集图像，稍加图像处理，通过厚度转化算法便可得到冰厚数据，输入冰型识别模型，便可识别出积冰种类，鲁棒性好，可靠性高，响应快。本发明对保障飞机地面除冰以及旅客生命财产安全具有重大的意义。

Description

基于图像理解的飞机地面积冰检测方法、系统、终端及介质
技术领域
本发明属于飞机地面积冰检测技术领域，尤其涉及一种基于图像理解的飞机地面积冰检测方法、基于图像理解的飞机地面积冰检测系统、接收用户输入程序存储介质、信息数据处理终端。
背景技术
目前，飞机作为最快的交通工具，给旅客出行和货物运输带来了极大的便利。飞行安全不仅是保护各大航空公司业务的重中之重，也是每一位消费者最关心的头等大事。当飞机停在机场时，外表面的水分会积聚并变成冰。附着在表面的冰雪等污染物将对飞机起飞安全产生不可预测的后果。飞机表面特别是机翼和尾翼表面结冰，会直接破坏环绕翼切形四周的正常气流，导致升力降低，阻力增加，使飞机起飞时失速。叶片和螺旋桨上的积冰会影响螺旋桨效率和降低起飞速度，甚至会因积冰分布不均而导致螺旋桨震动。检测飞机地面结冰是飞机地面除冰的首要任务。只有及时准确检测积冰的类型和厚度，对飞机进行地面除冰，才能有效保证飞机的平稳运行，避免飞机携带冰雪霜起飞，确保乘客生命财产安全。目前广泛应用的积冰检测方法主要有传感器检测方法和图像特征提取方法。
结冰传感器主要分为超声波回波式、障碍式、振动式、压差式、微波吸收式、光纤式等：(1)超声波回波式：由于超声波从一种介质向另一种介质传播时，会有部分原路返回。发射端发送给一个超声波脉冲信号到积冰表面，接收端通过测量回传时间推算出积冰厚度。此类传感器缺点在于需要通过相对复杂的算法将回传时间转换为积冰厚度；(2)障碍式：将旋转刮板安装在飞机易结冰表面，当刮板表面结冰，转矩逐渐增大至设定的阈值时，传感器产生信号来除冰。缺点是无法反映积冰特性，而且寿命短，可靠性低；(3)振动式：利用压电效应，即当膜片结冰时，膜片发生形变，改变了膜片自身的谐振频率，通过测量其谐振频率的变化判断是否结冰。该类传感器优点是强度好、可靠性高。但是冰型的不同，会导致厚度测量误差大；(4)压差式：利用压差原理，在传感器的迎风面与背风面各开一个小孔，通过两小孔之间的压差变化来判断是否结冰。这种传感器准确性高、可靠性高，但是小孔一旦被其他异物堵塞会使传感器出错，误报结果；(5)微波吸收式：微波天线辐射一定频率的电磁波，当飞机表面结冰时，积冰阻止了微波的辐射。通过测量电磁波的辐射损失推算出积冰厚度。由于周围环境中会有各种辐射干扰会造成误报，导致此检测方法抗干扰性差。(6)光纤式：利用冰层光学散射特性，通过探测不同接收光纤的特性曲线，来得出冰厚，但是该方法还无法用于冰型识别。
图像特征提取方法根据图像处理技术，利用数字信号处理提取冰雪图像中的有用信息，结合机器学习等算法从图像中提取颜色特征、轮廓特征以及纹理特征等具有区分性的特征来识别各类冰型。该方法只需采集飞机机翼、尾翼、螺旋桨等关键部位的图像信息，无需直接接触飞机表面，不会破坏飞机的气动特性，对飞机保护性好且快速、准确性高。但是此方法对图像质量要求高，需要较好的硬件设备，否则采集到的图像质量过低，导致检测结果与实际存在很大的偏差。
通过上述分析，现有技术存在的问题及缺陷为：
(1)各类结冰传感器都会受环境影响导致准确性较低，少许传感器与飞机表面直接接触，可能会对飞机的气动特性产生影响，且成本较高难以广泛使用；
(2)图像特征提取方法对图像质量要求较高，受硬件的制约，精度受限，且特征提取算法相对复杂，区分边界模糊，导致鲁棒性低。
解决以上问题及缺陷的难度为：若想通过传感器采集气象因子推测是否结冰或者直接采集结冰信息，均受环境影响极大，极有可能导致结果误报，且在飞机关键部位架设高精度相机对积冰进行实时结冰检测成本过高。
解决以上问题及缺陷的意义为：本发明只需用相机对积冰区域采集图像，稍加图像处理，通过厚度转化算法便可得到冰厚数据，输入冰型识别模型，便可识别出积冰种类，鲁棒性好，可靠性高，响应快。
本发明提供了一种不受环境以及硬件设施的影响，容易实现的飞机地面积冰检测方法对保障飞机地面除冰以及旅客生命财产安全具有重大的意义。
本发明为了解决现有飞机地面结冰检测方法受环境影响大、精度受限且难以推广等问题；结合图像处理以及深度学习提出一种基于图像理解的飞机地面积冰演化检测方法。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种基于图像理解的飞机地面积冰检测方法与系统。
所述技术方案如下：一种基于图像理解的飞机地面积冰检测方法，包括：面向双目电子显微镜采集的飞机地面积冰图像信息，对图像进行预处理并标注飞机地面积冰特性；
再对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性；
最后搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与冰型一体化检测。
在一个实施例中，基于图像理解的飞机地面积冰检测方法具体包括：
(1)利用双目电子显微镜采集飞机地面积冰图像信息；
(2)对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化等预处理操作后，将图像数据集划分为训练集、测试集；
(3)对步骤(2)中图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值；
(4)利用Batch Normalization算法对图像进行批量标准化处理，搭建基于深度残差网络的积冰类型识别模型(目标域模型)；
(5)选择源任务，通过训练公共数据集获取预训练网络模型(源域模型)参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数；
(6)加载预训练模型参数到积冰类型识别模型中，冻结低层通用图像特征，重新训练积冰类型特定特征，得到已训练积冰识别模型，输入测试集，输出识别结果；
(7)对模型精度进行准确率、召回率评估。
(8)结合冰厚计算与冰型识别，搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与类型识别一体化。
在一实施例中，所述步骤(2)中，为了尽可能地提高图像数据集的质量与数量，避免色彩信息对检测效果产生影响，将其处理成灰度图像，此外对图像进行高斯滤波以及图像增强用来提高图像数据集质量，对图像几何变换来增大数据集。
在一实施例中，所述步骤(3)中，为了方便计算实际积冰厚度，利用Canny算子对高斯滤波后的图像进行边缘检测，检测出关键部位的上下边缘以及积冰边缘，获取各像素厚度。
在一实施例中，所述步骤(4)中，为了让图像快速收敛，防止梯度消失，将步骤(2)中的数据集进行如下表所示批量标准化(Batch Normalization)处理，使批(Batch)映射成均值为0，方差为1的分布。另外为了改善深度网络弥散问题，在卷积神经网络中，每两层增加短路连接机制，构成残差单元结构，形成残差网络结构。
在一实施例中，所述步骤(5)、(6)中，针对飞机地面积冰图像的特定领域，数据量较小的情况下，将迁移学习引入残差网络中。使用ImageNet数据集先训练出一个预训练模型，并利用TrAdaBoosting算法从预训练模型中筛选出有效特征参数并加载到步骤(4)中的ResNet-34的积冰分类网络中，并冻结部分残差网络结构与参数，进行二次训练，得到一个适用于冰型的分类模型。
在一实施例中，所述步骤(8)中，为了实现飞机地面积冰厚度测算与类型识别一体化，通过上述步骤(1)-(6)，得到冰厚的计算方法与冰型的识别模型，结合两者搭建基于图像理解的飞机地面积冰检测系统。
本发明的另一目的在于提供一种基于图像理解的飞机地面积冰检测系统包括：
积冰图像采集模块，用于采用双目电子显微镜分别从积冰区域上方与侧面采集飞机地面积冰图像信息，对采集到的图像进行预处理，并标注积冰特性，划分为训练集与测试集；
积冰厚度计算模块，用于对采集模块采集到的积冰侧视图进行边缘检测，提取所需各部分像素高度，通过厚度转化算法，将积冰像素厚度转化为实际积冰厚度。
积冰类型识别模块，用于结合图像处理后的训练集，通过ResNet-34残差网络与迁移学习相结合，构建飞机地面积冰类型识别模型，智能感知飞机积冰种类信息。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于图像理解的飞机地面积冰检测方法。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于图像理解的飞机地面积冰检测方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
(1)本发明只需对积冰区域采集图像，而现有传感器积冰检测技术需要在飞机关键部位嵌入传感器，对飞机本身不但不会构成保护，反而会造成破坏，影响飞机气动特性；(2)较特征提取检测技术，本发明所需图像处理更为简单易操作，基本灰度处理、去噪等图像处理包即可满足要求，不需要复杂的算法支撑；(3)本发明冰厚只需通过冰厚转化公式即可将图像信息量化为数值，不需通过各类传感器利用声音传播原理、压电效应等物理学知识，间接地将时间、谐振频率等物理量转化为厚度，进而大大增加测量误差；(4)本发明对数据集进行批量标准化(Batch Normalization)处理，可以使图像快速收敛，防止梯度消失，在卷积网络中加入短路机制，构成残差网络，使输入特征在输出时成为新的特征信息，模型性能不会损失，且训练时间变短，网络更加稳定平滑；(5)本发明利用TrAdaBoosting算法可以从迁移学习所得预训练模型中筛选最优参数加载到识别模型中，解决目标域与源域数据集不一致的问题；优化模型识别效果；(6)各类积冰检测传感器会因为环境或者自身构造的问题，会导致结果误差很大甚至出现误报现象，而本发明基于图像理解的积冰检测技术，不受任何环境影响，只需一台像素较高的相机即可，有条件的可以配备双目电子显微镜，成本较低；(7)随着残差单元的增加以及训练集的增大，本发明可以获得更好的训练参数，特征提取的能力也就越强，冰型图像分类识别准确率也随之提高；(8)传感器积冰检测只能检测出是否积冰，不能同时识别出冰型和计算出冰厚，但是本发明飞机地面积冰检测系统可以实现冰厚计算与冰型识别的一体化。
本发明提供的基于图像理解的飞机地面积冰检测方法，面向双目电子显微镜采集的飞机地面积冰图像信息，对图像进行预处理并标注飞机地面积冰特性；对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性；搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与冰型一体化检测。本发明提供的飞机地面积冰检测方法与系统具有响应快、可靠性高、易于实施等优势，有较好的应用前景。
相比于现有技术，本发明的优点进一步包括：
本发明提供的基于图像理解的飞机地面积冰检测方法，面向双目电子显微镜采集的飞机地面积冰图像信息，对图像进行预处理并标注飞机地面积冰特性；对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性；搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与冰型一体化检测。本发明提供的飞机地面积冰检测方法与系统具有响应快、可靠性高、易于实施等优势，有较好的应用前景。
与传感器检测、特征提取方法相比，本发明方法冰厚计算误差小，识别准确率高。如表2、表5所示。
本发明提供的基于图像理解的飞机地面积冰检测方法，面向双目电子显微镜采集的飞机地面积冰图像信息，对图像进行预处理并标注飞机地面积冰特性；再对飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性。本发明提供的飞机地面积冰检测方法具有响应快、准确率高、易于实施等优势，有较好的应用前景。
本发明提供的基于图像理解的飞机地面积冰检测方法，通过采集飞机关键部位积冰图像，加入迁移学习训练得到ResNet识别模型，(1)相较于结冰传感器以及特征提取算法，该方法可靠性高，响应快，抗干扰能力强；(2)无需采集温度、湿度、风速、气压等气象因子数据进行分析进而得出冰型与冰厚，只需用双目电子显微镜对积冰区域采集图像，并稍加图像预处理，便可得到冰厚，再放入识别模型中，即可得出冰型，易于实施。(3)识别过程中不会对飞机本身造成破坏与影响飞机气动特性，对飞机保护性强。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的基于图像理解的飞机地面积冰检测方法流程图。
图2是本发明实施例提供的积冰区域俯视图。
图3是本发明实施例提供的积冰区域侧视图。
图4是本发明实施例提供的图像处理效果图。
图5是本发明实施例提供的积冰厚度计算原理图。
图6是本发明实施例提供的梯度角扇区图。
图7是本发明实施例提供的残差单元结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
如图1所示，基于图像理解的飞机地面积冰检测方法具体包括：
(1)利用双目电子显微镜采集飞机地面积冰图像信息；
(2)对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化等预处理操作后，将图像数据集划分为训练集、测试集；
(3)对步骤(2)中图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值；
(4)利用Batch Normalization算法对图像进行批量标准化处理，搭建基于深度残差网络的积冰类型识别模型(目标域模型)；
(5)选择源任务，通过训练公共数据集获取预训练网络模型(源域模型)参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数；
(6)加载预训练模型参数到积冰类型识别模型中，冻结低层通用图像特征，重新训练积冰类型特定特征，得到已训练积冰识别模型，输入测试集，输出识别结果；
(7)对模型精度进行准确率、召回率评估。
(8)结合冰厚计算与冰型识别，搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与类型识别一体化。
本发明还提供一种基于图像理解的飞机地面积冰检测系统包括：
积冰图像采集模块，用于采用双目电子显微镜分别从积冰区域上方与侧面采集飞机地面积冰图像信息，对采集到的图像进行图像预处理，并标注积冰特性，划分为训练集与测试集；
积冰厚度计算模块，用于对采集模块采集到的积冰侧视图进行边缘检测，提取所需各部分像素高度，通过厚度转化算法，将积冰像素厚度转化为实际积冰厚度。
积冰类型识别模块，用于结合图像处理后的训练集，通过ResNet-34残差网络与迁移学习相结合，构建飞机地面积冰类型识别模型，智能感知飞机积冰种类信息。
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1：
在一实施例中，所述检测方法具体包括以下步骤：
(1)利用双目电子显微镜采集飞机地面积冰图像信息；
(2)对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化等预处理操作后，将图像数据集划分为训练集、测试集；
(3)对步骤(2)中图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值；
(4)利用Batch Normalization算法对图像进行批量标准化处理，搭建基于深度残差网络的积冰类型识别模型(目标域模型)；
(5)选择源任务，通过训练公共数据集获取预训练网络模型(源域模型)参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数；
(6)加载预训练模型参数到积冰类型识别模型中，冻结低层通用图像特征，重新训练积冰类型特定特征，得到已训练积冰识别模型，输入测试集，输出识别结果；
(7)对模型精度进行准确率、召回率评估。
(8)结合冰厚计算与冰型识别，搭建面向关键部位的飞机地面积冰图像理解检测系统，实现飞机地面积冰厚度与类型识别一体化。
在一优选实施例中，所述步骤(1)采集积冰图像信息包括：利用双目电子显微镜从积冰区域上方采集图像是为了显示全部积冰图像特性，方便进行图像识别，而从侧面采集图像，利于图像边缘检测，进而简化冰厚的测算。基于图像理解的飞机地面积冰检测方法，所述积冰检测方法需获取积冰区域图像作为训练集以及测试集。如图2、图3所示，通过双目电子显微镜对积冰区域采集俯视图与侧视图，并对其进行灰度化、去噪、图像增强以及几何变化等一系列操作，得到如图4所示效果图。
在一优选实施例中，所述步骤(2)图像预处理方法包括：
首先对图像进行灰度化处理：
选用加权平均值法，利用rab2gray函数，将RGB分量按照不同权值进行加权平均得到灰度图像的灰度值，将输入的原始积冰图像灰度化。
F(i,j)＝αR(i,j)+βG(i,j)+γB(i,j) (1)
其中F(i,j)是灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别为原始图像在(i,j)的三色值，α+β+γ＝1。
接着采用高斯滤波3×3模板对各冰型图像去噪处理：
使用如下所示的计算公式确定3×3卷积模板，并使用所得模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
Figure BDA0003418549270000101
式中，σ是高斯滤波的标准差，影响平滑滤波的效果，根据图像的实际需要选择适当的σ。
然后通过直方图均衡化对去噪后图像进行增强：原始图像的灰度级有n级，其中灰度级为i的像素点出现的概率为pi，即第i级灰度的熵为：
Figure BDA0003418549270000111
该灰度图像的熵为：
Figure BDA0003418549270000112
当
Figure BDA0003418549270000113
时，熵取最大值，所含信息量最大，图像整体层次感最优，使原始图像中的冰型更容易被区分。
最后对增强后图像进行空间几何变换操作扩大数据集：
(a)旋转：利用旋转变换将图像绕原点顺时针旋转θ角度，各像素点坐标变换如下：
Figure BDA0003418549270000114
式中，x0、y0表示旋转前各像素点的坐标，x、y表示旋转后各像素点的坐标。本操作取θ＝5，将增强后的图像每隔5°旋转一次；
(b)平移：对增强后的数据集随机进行距离在(0,height*0.1]内的竖直方向平移或者在(0,width*0.1]内的水平方向平移；
(c)缩放：对数据集中各类冰型图像的各像素乘以1/255缩放因子，其缩放后像素值均在(0，1)区间内，再加上偏置值0.0001消除像素矩阵中存在零值影响。
(d)镜像变换：将数据集中的所有图像进行镜像变换，扩大数据集增加图像多样性。
在一优选实施例中，所述步骤(3)积冰厚度计算方法包括：
对步骤(2)高斯滤波后的数据集进行基于Canny算子的边缘提取操作：
a)计算梯度方向与幅值
使用一阶有限差分求得偏导矩阵，近似梯度幅值与方向，来描述像素灰度的变化程度与方向。
计算每个像素点在水平和竖直方向上的导数Gx与Gy，组成梯度向量(Gx,Gy)，计算公式如下：
Figure BDA0003418549270000121
式中，Pi.g为第i位置像素的灰度值，分布如下：
Figure BDA0003418549270000122
再根据下式计算梯度值G与方向O：
Figure BDA0003418549270000123
b)非极大值抑制
保留局部梯度值最大的点，对梯度的方向上进行非极大值抑制处理，去除伪边缘像素，对梯度角O进行处理，简化梯度值的比较：
1)反三角函数在
Figure BDA0003418549270000124
取值，在式(8)中梯度角上加上
Figure BDA0003418549270000125
使其在[0，π]上取值；
2)按照下表1重置梯度角及图6梯度角扇区图，将梯度角分为四个扇区并重置。
表1重置梯度角
Figure BDA0003418549270000126
每个像素点重置梯度角O后，对梯度方向上相邻的两个像素进行遍历，比较目标像素梯度与相邻的两像素梯度大小：若目标像素梯度大，则将目标像素梯度值设为极大值，并将梯度幅值按下式进行放缩；否则将目标像素梯度值置0。
Figure BDA0003418549270000131
其中，Gmax为遍历后得到的梯度值的最大值，Gi为目标像素的梯度值。
像素梯度幅值通过上述一系列操作后得到了一定程度上的放缩，将灰度值赋为局部梯度值最大值。
c)双阈值边缘检测
通过双阈值使不同阈值下的边缘进行连接。将高阈值设为Lh，低阈值设为Ll，若梯度幅值L＞Lh，则L为图像的边缘；若L＜Ll，则L一定不是图像的边缘；若Li＜L＜Lh，则将像素点临近的像素值的梯度与Lh作比较，若大于Lh，则为边缘，反之亦然。
实施例2：
基于图像理解的飞机地面积冰检测方法，所述积冰检测方法需将冰厚像素厚度转化为实际厚度。
通过基于Canny算子的边缘检测后，可以得到如图5所示的积冰厚度计算原理图所示。
假设机翼在t时刻的积冰区域像素总面积为SH,未积冰时的像素面积为Sh，积冰边缘上任一点m到机翼下边缘的像素高度为H，机翼的像素厚度为h，实际厚度为d，积冰平均像素厚度
Figure BDA0003418549270000134
则积冰实际厚度
Figure BDA0003418549270000132
可由如下公式推导：
aH＝SH (10)
ah＝Sh (11)
(11)-(10)得：
Figure BDA0003418549270000133
由式(11)可得
Figure BDA0003418549270000141
并将其代入上式可得：
Figure BDA0003418549270000142
式(13)等价于：
Figure BDA0003418549270000143
由式(10)、(11)可得：
Figure BDA0003418549270000144
综上可得：
Figure BDA0003418549270000145
如表2冰厚计算对比表所示，本发明提供的基于图像理解的飞机地面积冰厚度计算方法与其他检测积冰厚度方法的对比。
表2冰厚计算对比表(以2cm明冰为例)
Figure BDA0003418549270000146
在一优选实施例中，所述步骤(4)积冰分类模型搭建方法包括：使用BatchNormalization算法对图像进行批量标准化处理，选用34层的ResNet网络，使用步长为2的卷积下采样，同时将卷积神经网络的全连接层变为全局池化层，在每两层卷积中增加短路连接机制，构成残差单元结构。综上搭建一个基于ResNet-34的积冰分类目标域模型。
在本发明一优选实施例中，所述步骤(5)引入迁移学习方法包括：针对飞机地面积冰图像的特定领域，数据量较小的情况下，将迁移学习引入残差网络中。使用ImageNet数据集先训练出一个预训练模型，并利用TrAdaBoosting算法从预训练模型中筛选出有效特征参数并加载到步骤(4)中的ResNet-34的积冰分类网络中，并冻结部分残差网络结构与参数，进行二次训练，得到一个适用于冰型的分类模型。
具体包括：通过训练ImageNet中1000类图像获得预训练ResNet网络模型参数，并利用TrAdaBoosting参数优化算法对预训练模型参数进行筛选，过滤与积冰类型模型不匹配的数据，增加有效参数权重值，减低无用参数权重值。
在本发明一优选实施例中，步骤(6)二次训练积冰分类模型方法：将步骤(5)筛选后的参数加载到积冰类型识别模型中，固定预训练参数冻结前六层参数，微调识别模型网络架构中的参数，重新训练ResNet-34积冰识别模型，输入测试集，输出识别冰型结果。
在本发明一优选实施例中，步骤(7)本发明使用准确率与召回率对模型检测效果进行评估，其中TP表示正确识别出积冰图像某一冰型的数量；FP表示识别出错误冰型的数量；FN表示未被识别出的冰型数量；TN表示正确识别出非积冰的数量。
1)准确率
表示正确识别出冰型与非积冰的图像数量：
Figure BDA0003418549270000151
式中TP+TN为正确分类图像数量，TP+FN+FP+TN是训练集图像的总数。
2)召回率
表示在所有积冰图像中，识别出多少正确冰型图像。
Figure BDA0003418549270000152
在本发明中，结合上述7个步骤所述的冰厚计算与冰型识别，搭建面向飞机关键部位的冰厚与冰型一体化检测系统。
实施例3：
基于图像理解的飞机地面积冰检测方法，划分好训练集与测试集后，对数据集进行批量标准化(Batch Normalization)处理，使批(Batch)映射成均值为0，方差为1的分布，让图像快速收敛，防止梯度消失。
如表3所示，本发明提供的数据批量标准化(Batch Normalization)处理流程。
表3 Batch Normaliaztion算法流程
Figure BDA0003418549270000161
实施例4：
利用TrAdaBoosting参数优化算法从预训练模型中筛选有效参数，提高有效参数的权重，降低无效参数的权重。
如表4所示，本发明提供的利用TrAdaBoosting参数优化算法从预训练模型中筛选有效参数流程。
表4TrAdaBoosting算法流程
Figure BDA0003418549270000162
Figure BDA0003418549270000171
实施例5：
基于图像理解的飞机地面积冰检测方法，将测试集输入到基于ResNet-34残差网络与迁移学习的积冰分类模型中，便可分类出积冰的冰型。
如表5所示，本发明与现有积冰检测技术准确率对比。
表5识别准确率对比
Figure BDA0003418549270000172
实施例6：
基于图像理解的飞机地面积冰检测方法，通过在残差网络里不断加入如图7所示的残差单元结构，构建出更深层的深度网络，可以得到更好的训练参数，从而冰型图像分类识别准确率越高。如图7所示的残差单元结构中，令输入为x，所学习到的特征信息即网络原始特征为H(x)，则残差为F(x)＝H(x)-x，当F(x)为0时，输入特征信息H(x)等价于输出特征信息F(x)，模型的性能未有损失。
下面结合具体实验数据对本发明的积极效果作进一步描述。
表6实验结果
Figure BDA0003418549270000181
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。

Claims (10)

1.一种基于图像理解的飞机地面积冰检测方法，其特征在于，包括：对采集的飞机地面积冰图像进行预处理并标注飞机地面积冰特性；
对所述飞机地面积冰特性进行分类并将冰厚图像信息量化为数值，基于图像理解融合深度学习方法检测飞机地面积冰状态及属性，并输出飞机地面积冰状态及属性结果；
结合冰厚计算与冰型识别结果，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。
2.根据权利要求1所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述基于图像理解的飞机地面积冰检测方法具体包括以下步骤：
步骤一，利用双目电子显微镜采集飞机地面积冰图像信息；
步骤二，对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化预处理操作后，将图像数据集划分为训练集、测试集；
步骤三，对步骤二中图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值；
步骤四，利用Batch Normalization算法对图像进行批量标准化处理，搭建基于深度残差网络的积冰类型识别模型；
步骤五，选择源任务，通过训练公共数据集获取预训练网络模型参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数；
步骤六，加载预训练模型参数到积冰类型识别模型中，冻结低层通用图像特征，重新训练积冰类型特定特征，得到已训练积冰识别模型，输入测试集，输出识别结果；
步骤七，对积冰类型识别模型精度进行准确率、召回率评估；
步骤八，结合冰厚计算与冰型识别，搭建面向关键部位的飞机地面积冰图像理解检测系统，进行飞机地面积冰厚度与类型识别。
3.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述步骤二对采集到的各冰型图像进行灰度化、去噪、图像增强以及几何变化预处理包括：
步骤1，对图像进行灰度化处理：选用加权平均值法，利用rab2gray函数，将RGB分量按照不同权值进行加权平均得到灰度图像的灰度值，将输入的原始积冰图像灰度化；
F(i,j)＝αR(i,j)+βG(i,j)+γB(i,j) (1)
其中F(i,j)是灰度图像在(i,j)处的灰度值，R(i,j)、G(i,j)、B(i,j)分别为原始图像在(i,j)的三色值，α+β+γ＝1；
步骤2，采用高斯滤波3×3模板对各冰型图像去噪处理：使用公式(2)所示的计算公式确定3×3卷积模板，并使用所得模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；
Figure FDA0003418549260000021
式中，σ是高斯滤波的标准差，影响平滑滤波的效果，根据图像的实际需要选择σ值；
步骤3，通过直方图均衡化对去噪后图像进行增强：原始图像的灰度级有n级，灰度级为i的像素点出现的概率为pi，第i级灰度的熵为：
Figure FDA0003418549260000022
该灰度图像的熵为：
Figure FDA0003418549260000023
当
Figure FDA0003418549260000024
时，熵取最大值，所含信息量最大，图像整体层次感最优，使原始图像中的冰型更容易被区分；
步骤4，对增强后图像进行空间几何变换操作扩大数据集：(a)旋转：利用旋转变换将图像绕原点顺时针旋转θ角度，各像素点坐标变换如下：
Figure FDA0003418549260000031
式中，x0、y0表示旋转前各像素点的坐标，x、y表示旋转后各像素点的坐标；θ＝5，将增强后的图像每隔5°旋转一次；
(b)平移：对增强后的数据集随机进行距离在(0,height*0.1]内的竖直方向平移或者在(0,width*0.1]内的水平方向平移；
(c)缩放：对数据集中各类冰型图像的各像素乘以1/255缩放因子，其缩放后像素值均在(0，1)区间内，再加上偏置值0.0001消除像素矩阵中存在零值影响；
(d)镜像变换：将数据集中的所有图像进行镜像变换，扩大数据集增加图像多样性。
4.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，对图像增强后的数据集进行边缘提取，将积冰厚度图像信息量化为数值包括：
第一步，对步骤二高斯滤波后的数据集进行基于Canny算子的边缘提取操作：a)计算梯度方向与幅值：使用一阶有限差分求得偏导矩阵，近似梯度幅值与方向，来描述像素灰度的变化程度与方向；
计算每个像素点在水平和竖直方向上的导数Gx与Gy，组成梯度向量(Gx,Gy)，计算公式如下：
Figure FDA0003418549260000032
式中，Pi.g为第i位置像素的灰度值，分布如下：
Figure FDA0003418549260000033
再根据下式计算梯度值G与方向O：
Figure FDA0003418549260000041
b)非极大值抑制：保留局部梯度值最大的点，对梯度的方向上进行非极大值抑制处理，去除伪边缘像素，对梯度角O进行处理，简化梯度值的比较：反三角函数在
Figure FDA0003418549260000042
取值，在式(8)中梯度角上加上
Figure FDA0003418549260000043
在[0，π]上取值，再将梯度角分为四个扇区并重置；
每个像素点重置梯度角O后，对梯度方向上相邻的两个像素进行遍历，比较目标像素梯度与相邻的两像素梯度大小：若目标像素梯度大，则将目标像素梯度值设为极大值，并将梯度幅值按下式进行放缩；否则将目标像素梯度值置0；
Figure FDA0003418549260000044
其中，Gmax为遍历后得到的梯度值的最大值，Gi为目标像素的梯度值；
c)双阈值边缘检测：通过双阈值使不同阈值下的边缘进行连接；将高阈值设为Lh，低阈值设为Ll，若梯度幅值L＞Lh，则L为图像的边缘；若L＜Ll，则L一定不是图像的边缘；若Li＜L＜Lh，则将像素点临近的像素值的梯度与Lh作比较，若大于Lh，则为边缘；
第二步，积冰厚度计算：若机翼在t时刻的积冰区域像素总面积为SH,未积冰时的像素面积为Sh，积冰边缘上任一点m到机翼下边缘的像素高度为H，机翼的像素厚度为h，实际厚度为d，积冰平均像素厚度
Figure FDA0003418549260000047
则积冰实际厚度
Figure FDA0003418549260000045
由如下公式推导：
aH＝SH (10)
ah＝Sh (11)
(11)-(10)得：
Figure FDA0003418549260000046
由式(11)可得
Figure FDA0003418549260000051
并将其代入上式可得：
Figure FDA0003418549260000052
式(13)等价于：
Figure FDA0003418549260000053
由式(10)、(11)得：
Figure FDA0003418549260000054
得：
Figure FDA0003418549260000055
5.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述搭建基于深度残差网络的积冰类型识别模型方法包括：使用Batch Normalization算法对图像进行批量标准化处理，选用34层的ResNet网络，使用步长为2的卷积下采样，同时将卷积神经网络的全连接层变为全局池化层，在每两层卷积中增加短路连接机制，构成残差单元结构。
6.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述步骤五通过训练公共数据集获取预训练网络模型参数，并利用TrAdaBoosting算法从预训练模型中筛选有效参数包括：
使用ImageNet数据集先训练出一个预训练模型，并利用TrAdaBoosting算法从预训练模型中筛选出有效特征参数并加载到步骤四中的ResNet-34的积冰分类网络中，并冻结部分残差网络结构与参数，进行二次训练，得到适用于冰型的分类模型；
所述步骤六重新训练积冰类型特定特征包括：将步骤五筛选后的参数加载到积冰类型识别模型中，固定预训练参数冻结前六层参数，微调识别模型网络架构中的参数，重新训练ResNet-34积冰识别模型，输入测试集，输出识别冰型结果。
7.根据权利要求2所述的基于图像理解的飞机地面积冰检测方法，其特征在于，所述步骤七对积冰类型识别模型精度进行准确率、召回率评估包括：TP表示正确识别出积冰图像某一冰型的数量；FP表示识别出错误冰型的数量；FN表示未被识别出的冰型数量；TN表示正确识别出非积冰的数量；
1)准确率
表示正确识别出冰型与非积冰的图像数量：
Figure FDA0003418549260000061
式中TP+TN为正确分类图像数量，TP+FN+FP+TN是训练集图像的总数；
2)召回率
表示在所有积冰图像中，识别出多少正确冰型图像；
Figure FDA0003418549260000062
8.一种实施权利要求1～7任意一项所述基于图像理解的飞机地面积冰检测方法的基于图像理解的飞机地面积冰检测系统，其特征在于，所述基于图像理解的飞机地面积冰检测系统包括：
积冰图像采集模块，用于采用双目电子显微镜分别从积冰区域上方与侧面采集飞机地面积冰图像信息，对采集到的图像进行预处理，并标注积冰特性，划分为训练集与测试集；
积冰厚度计算模块，用于对采集模块采集到的积冰侧视图进行边缘检测，提取所需各部分像素高度，通过厚度转化算法，将积冰像素厚度转化为实际积冰厚度；
积冰类型识别模块，用于结合图像处理后的训练集，通过ResNet-34残差网络与迁移学习相结合，构建飞机地面积冰类型识别模型，感知飞机积冰种类信息。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～7任意一项所述基于图像理解的飞机地面积冰检测方法。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～7任意一项所述基于图像理解的飞机地面积冰检测方法。
CN202111553878.4A 2021-12-17 2021-12-17 基于图像理解的飞机地面积冰检测方法、系统、终端及介质 Pending CN114372960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111553878.4A CN114372960A (zh) 2021-12-17 2021-12-17 基于图像理解的飞机地面积冰检测方法、系统、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111553878.4A CN114372960A (zh) 2021-12-17 2021-12-17 基于图像理解的飞机地面积冰检测方法、系统、终端及介质

Publications (1)

Publication Number Publication Date
CN114372960A true CN114372960A (zh) 2022-04-19

Family

ID=81140500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111553878.4A Pending CN114372960A (zh) 2021-12-17 2021-12-17 基于图像理解的飞机地面积冰检测方法、系统、终端及介质

Country Status (1)

Country Link
CN (1) CN114372960A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549914A (zh) * 2022-04-24 2022-05-27 中国民航大学 一种飞机大面积结冰检测方法及检测系统
CN114596315A (zh) * 2022-05-10 2022-06-07 中国民航大学 一种飞机地面检测积冰方法、装置、系统及计算机设备
CN115311535A (zh) * 2022-09-29 2022-11-08 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞云雾场参数获取方法和存储介质
CN115619777A (zh) * 2022-12-05 2023-01-17 中国民航大学 道面冰雪状态的检测方法、系统和计算机可读存储介质
CN117168331A (zh) * 2023-11-02 2023-12-05 山西锦烁生物医药科技有限公司 基于光纤传感器的天然冰场冰层厚度实时检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549914A (zh) * 2022-04-24 2022-05-27 中国民航大学 一种飞机大面积结冰检测方法及检测系统
CN114549914B (zh) * 2022-04-24 2022-07-12 中国民航大学 一种飞机大面积结冰检测方法及检测系统
CN114596315A (zh) * 2022-05-10 2022-06-07 中国民航大学 一种飞机地面检测积冰方法、装置、系统及计算机设备
CN115311535A (zh) * 2022-09-29 2022-11-08 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞云雾场参数获取方法和存储介质
CN115311535B (zh) * 2022-09-29 2022-12-30 中国空气动力研究与发展中心低速空气动力研究所 一种结冰风洞云雾场参数获取方法和存储介质
CN115619777A (zh) * 2022-12-05 2023-01-17 中国民航大学 道面冰雪状态的检测方法、系统和计算机可读存储介质
CN117168331A (zh) * 2023-11-02 2023-12-05 山西锦烁生物医药科技有限公司 基于光纤传感器的天然冰场冰层厚度实时检测方法
CN117168331B (zh) * 2023-11-02 2024-01-02 山西锦烁生物医药科技有限公司 基于光纤传感器的天然冰场冰层厚度实时检测方法

Similar Documents

Publication Publication Date Title
CN114372960A (zh) 基于图像理解的飞机地面积冰检测方法、系统、终端及介质
US11286913B2 (en) Method and apparatus for monitoring formation of ice on wind turbine blade
WO2022016884A1 (zh) 一种基于K-means聚类算法的海面风速方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN102799903B (zh) 一种基于空间与光谱信息的高光谱自动云检测方法
CN107238821A (zh) 一种基于特征谱特征的机场跑道异物检测方法及装置
KR101258668B1 (ko) 한반도 통합형 기상 레이더 품질 관리 시스템 및 그 방법
Jaiswal et al. Automatic determination of center of tropical cyclone in satellite-generated IR images
CN114091185B (zh) 一种飞机表面积冰演化状态辨识方法及系统
CN109829423B (zh) 一种结冰湖泊红外成像检测方法
CN106056619A (zh) 基于梯度约束Radon变换的无人机视觉电线巡检方法
CN111428676A (zh) 一种基于稀疏对应和深度神经网络的短临降水预测方法
CN113420503B (zh) 基于温度序列相似性度量的积冰检测方法、系统、终端及应用
CN108254750B (zh) 一种基于雷达资料的下击暴流智能识别预警方法
CN114596315A (zh) 一种飞机地面检测积冰方法、装置、系统及计算机设备
Guo et al. Correction of sea surface wind speed based on SAR rainfall grade classification using convolutional neural network
CN112068104A (zh) 一种冰晶识别方法、装置、电子设备及双极化气象雷达
Chen et al. Marine target detection based on Marine-Faster R-CNN for navigation radar plane position indicator images
Wang et al. An energy spectrum algorithm for wind direction retrieval from X-band marine radar image sequences
CN112966656A (zh) 数据处理方法及装置
Ma et al. Feature selection and classification of oil spills in SAR image based on statistics and artificial neural network
CN117152706A (zh) 飞机飞行跑道积水识别方法、装置与系统
CN111572790A (zh) 一种无人机可伸缩全面保护控制系统及方法
Kharchenko et al. An investigation of synthetic aperture radar speckle filtering and image segmentation considering wavelet decomposition
CN113408615B (zh) 一种基于光学卫星遥感影像的船只自动匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination