CN108257085B - 基于图像处理技术的机械除冰过程检测方法 - Google Patents

Abstract

本发明提供了一种基于图像处理技术的机械除冰过程检测方法，所述方法包括以下步骤：从冰裂过程的视频中获取结冰图像；对结冰图像进行预处理，获得矫正图像；矫正图像的网格划分；统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线；灰度变化曲线中上升沿和下降沿对应时间的计算。本发明通过分析图像中灰度变化的规律可以获得冰块破碎以及脱落的时间历程数据，机械除冰过程的图像处理可以自动化进行，避免复杂的操作，有利于对飞机除冰过程的实时监测和有效控制。

Description

基于图像处理技术的机械除冰过程检测方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于图像处理技术的机械除冰过程检测方法。

背景技术

飞机结冰是指飞机机体表面某些部分聚集冰层的现象，它主要由云中过冷水滴或降雨中的过冷雨碰到飞机机体后凝固形成的，也可由水汽直接在机体表面凝华而成。只要达到一定的空气湿度，就会产生结冰现象。尤其是在冷湿大气中工作的飞机蒙皮、直升机桨叶和风电桨叶等工业结构容易在表面结一层冰，使得其结构的外形发生明显变化。机翼前缘结冰，飞机的空气动力性能变坏，使飞机的升力减小，阻力增大，影响飞机的安全性和操作性；在旋翼和螺旋桨叶上结冰，会造成飞机剧烈颤动；发动机进气道结冰，可能会损坏飞机；风挡结冰，妨碍目视飞行；这些因素都可能造成其气动性能急剧下降，进而造成严重的经济损失和人员伤亡。

机械除冰方法是目前常用的除冰方法之一，主要包括振动除冰、超声除冰、微波除冰、记忆合金变形除冰等。其原理是利用结构表面薄板结构的小幅变形或振动，迫使冰的破碎或冰层与结构表面分离。在机械除冰的相关实验中，需要检测冰层的碎裂和剥离过程。

因此，如何提供一种利用图像处理技术定量分析机械除冰过程图像的有效方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，为了检测在机械除冰过程中冰层碎裂和脱落过程的图像记录数据，本发明提供了一种基于图像处理技术的分析方法，该方法能够获得除冰过程中每个区域的冰块破碎和脱落的时间历程数据。

为了达到上述目的，本发明采用如下技术方案：

一种基于图像处理技术的机械除冰过程检测方法，所述方法包括以下步骤：

步骤一，从冰裂过程的视频中获取结冰图像；

步骤二，对结冰图像进行预处理，获得矫正图像；

步骤三，矫正图像的网格划分；

步骤四，统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线；

步骤五，灰度变化曲线中上升沿和下降沿对应时间的计算。

优选的，在上述基于图像处理技术的机械除冰过程检测方法中，所述从冰裂过程的视频中获取结冰图像的步骤具体包括：

从超声波除冰试验或冰裂现象的视频中以相同的时间间隔采样获得多帧彩色图像，将所述彩色图像转换为灰度图像，并对所述灰度图像进行裁剪，去除所述灰度图像中非目标部分，得到结冰图像。

优选的，在上述基于图像处理技术的机械除冰过程检测方法中，所述对结冰图像进行预处理，获得矫正图像的步骤具体包括：

对结冰图像进行投影变换，具体方法包括：

进行投影变换的公式(1)

其中(u,v)是原始结冰图像中各像素点的坐标，(x,y)是投影变换后结冰图像中各像素点的坐标，w和w′是辅助坐标，x＝x′/w′，y＝y′/w′，w＝1，a₁₁,a₂₂代表缩放变换，a₁₂,a₂₁代表错切变换，a₁₃,a₂₃代表投影变换，a₃₁,a₃₂代表平移变换，a₃₃的值为1，无变换意义。

根据原始结冰图像中四个角像素点的坐标，求取投影变换公式，从任意四边形的原始结冰图像变换到一个正方形的矫正图像，变换的4组对应点的转换关系可以表示如式(3)：

其中(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别表示原始结冰图像中四个角像素点的坐标，(0,0)、(1,0)、(1,1)、(0,1)分别表示变换后对应四个角像素点的坐标，将上述坐标代入公式(2)中，具体将(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)依次代入(u,v)中，(0,0)、(1,0)、(1,1)、(0,1)依次代入(x,y)中，将上述转换关系代入公式(2)中，求解方程得到矩阵[a_ij]，

优选的，在上述基于图像处理技术的机械除冰过程检测方法中，所述矫正图像的网格划分步骤具体包括：

将矫正图像的结冰区域等分为若干网格区域。

优选的，在上述基于图像处理技术的机械除冰过程检测方法中，所述统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线步骤中的灰度变化曲线为每一帧校正图像灰度变化的时间序列曲线。

优选的，在上述基于图像处理技术的机械除冰过程检测方法中，所述灰度变化曲线中上升沿和下降沿对应时间的计算步骤包括：

上升沿和下降沿对应的时间根据公式(4)计算得出

其中，

为上升沿对应时间点，

为下降沿对应的时间点，dⁱ(k)表示第k张图像中第i个区域的灰度平均值，threshold代表阈值。

经由上述的技术方案可知，在机械除冰过程中，结冰图像的灰度信息会发生变化，即冰层破碎区域的灰度值高于非破碎区域。为了获得冰层破坏过程中每个区域的冰块破碎和脱落的时间历程数据，本发明公开提供了一种基于图像处理技术的机械除冰过程检测方法，本发明运用图像处理技术，将冰层的破坏程度与图片的灰度值进行对应。机械除冰过程中，冰块会经历破碎和脱落两个过程，冰块破碎时，结冰图像的灰度会显著升高，而脱落时又会显著降低。因此，通过分析图像中灰度变化的规律可以获得冰块破碎以及脱落的时间。本发明的处理过程可以由计算机完成，使得机械除冰过程的图像处理可以自动化进行，避免复杂的操作，有利于对飞机除冰过程的实时监测和有效控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明基于图像处理技术的机械除冰过程检测方法的流程示意图；

图2附图为本发明结冰图像和非结冰图像的灰度对比图；

图3附图为本发明矫正图像示意图；

图4附图为本发明结冰区域网格划分示意图；

图5附图为本发明不同帧图像中结冰区域的灰度变化曲线示意图；

图6附图为本发明典型的灰度变化曲线示意图；

图7附图为本发明目标区域选取示意图；

图8附图为本发明目标区域灰度变化曲线。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供了一种基于图像处理技术的机械除冰过程检测方法，所述方法包括以下步骤：

步骤S101，从冰裂过程的视频中获取结冰图像；

请参阅图2，图2为本发明结冰图像和非结冰图像的灰度对比图。具体执行方法：

从机械除冰试验或冰裂现象的视频中以1s的时间间隔采样获得多帧彩色图像，将彩色图像转换为灰度图像，并对灰度图像进行裁剪，去除灰度图像中非目标部分，得到图2中所示的结冰图像。

步骤S102，对结冰图像进行预处理，获得矫正图像；

请参阅图3，图3为本发明矫正图像示意图。具体执行方法：

一般拍摄的视频中，由于摄像机并非正对结冰区域，造成拍摄的图像不是结冰物体的正投影，需要对对结冰图像进行投影变换，投影变换的公式如下：

其中(u,v)是原始结冰图像中各像素点的坐标，(x,y)是投影变换后结冰图像中各像素点的坐标，w和w′是辅助坐标，x＝x′/w′，y＝y′/w′，w＝1，a₁₁,a₂₂代表缩放变换，a₁₂,a₂₁代表错切变换，a₁₃,a₂₃代表投影变换，a₃₁,a₃₂代表平移变换，a₃₃的值为1，无变换意义。

根据原始结冰图像中四个角像素点的坐标，求取投影变换公式，从任意四边形的原始结冰图像变换到一个正方形的矫正图像，变换的4组对应点的转换关系可以表示如式(3)：

其中(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别表示原始结冰图像中四个角像素点的坐标，(0,0)、(1,0)、(1,1)、(0,1)分别表示变换后对应四个角像素点的坐标，将上述坐标代入公式(2)中，具体将(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)依次代入(u,v)中，(0,0)、(1,0)、(1,1)、(0,1)依次代入(x,y)中，将上述转换关系代入公式(2)中，求解方程得到矩阵[a_ij]，

步骤S103，矫正图像的网格划分；

请参阅图4，图4为本发明结冰区域网格划分示意图。具体执行方法：

为了获得每一个结冰区域的冰块随时间的破裂情况，需要将矫正图像的结冰区域进行网格划分。为了使得图像处理结果与模拟计算相对应，图片划分的区域与模拟计算网格划分相一致。在本实施例中，矫正图像中的结冰区域被等分成36×36的网格。

步骤S104，统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线；

请参阅图5，图5为本发明不同帧图像中结冰区域的灰度变化曲线示意图。具体执行方法：

统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线步骤中的灰度变化曲线为每一帧校正图像灰度变化的时间序列曲线。本实施例中针对120帧图像序列进行了9个目标区域的灰度值变化的统计，得到特征明显的灰度变化曲线。

步骤S105，灰度变化曲线中上升沿和下降沿对应时间的计算。

请参阅图6，图6为本发明典型的灰度变化曲线示意图。具体执行方法：从灰度变化曲线中找到上升沿和下降沿对应的时间。上升沿表示冰块碎裂，下降沿表示破碎冰块的脱落。上升沿和下降沿对应的时间根据公式(4)计算得出

其中，

为上升沿对应时间点，

为下降沿对应的时间点，dⁱ(k)表示第k张图像中第i个区域的灰度平均值，threshold代表阈值。阈值的取值与拍摄视频的光照条件有关，一般在30-80之间。

实施例二

本发明提供了一种基于图像处理技术的机械除冰过程检测方法，所述方法包括以下步骤：

步骤S101，从冰裂过程的视频中获取结冰图像；

具体执行方法：

从机械除冰试验或冰裂现象的视频中以2s的时间间隔采样获得多帧彩色图像，将彩色图像转换为灰度图像，并对灰度图像进行裁剪，去除灰度图像中非目标部分，得到结冰图像。

步骤S102，对结冰图像进行预处理，获得矫正图像；

具体执行方法：

一般拍摄的视频中，由于摄像机并非正对结冰区域，造成拍摄的图像不是结冰物体的正投影，需要对对结冰图像进行投影变换，投影变换的公式如下：

其中(u,v)是原始结冰图像中各像素点的坐标，(x,y)是投影变换后结冰图像中各像素点的坐标，w和w′是辅助坐标，x＝x′/w′，y＝y′/w′，w＝1，a₁₁,a₂₂代表缩放变换，a₁₂,a₂₁代表错切变换，a₁₃,a₂₃代表投影变换，a₃₁,a₃₂代表平移变换，a₃₃的值为1，无变换意义。

根据原始结冰图像中四个角像素点的坐标，求取投影变换公式，从任意四边形的原始结冰图像变换到一个正方形的矫正图像，变换的4组对应点的转换关系可以表示如式(3)：

其中(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别表示原始结冰图像中四个角像素点的坐标，(0,0)、(1,0)、(1,1)、(0,1)分别表示变换后对应四个角像素点的坐标，将上述坐标代入公式(2)中，具体将(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)依次代入(u,v)中，(0,0)、(1,0)、(1,1)、(0,1)依次代入(x,y)中，将上述转换关系代入公式(2)中，求解方程得到矩阵[a_ij]，

步骤S103，矫正图像的网格划分；

具体执行方法：

为了获得每一个结冰区域的冰块随时间的破裂情况，需要将矫正图像的结冰区域进行网格划分。为了使得图像处理结果与模拟计算相对应，图片划分的区域与模拟计算网格划分相一致。

步骤S104，统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线；

具体执行方法：

统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线步骤中的灰度变化曲线为每一帧校正图像灰度变化的时间序列曲线。得到特征明显的灰度变化曲线。

步骤S105，灰度变化曲线中上升沿和下降沿对应时间的计算。

具体执行方法：

从灰度变化曲线中找到上升沿和下降沿对应的时间。上升沿表示冰块碎裂，下降沿表示破碎冰块的脱落。上升沿和下降沿对应的时间根据公式(4)计算得出

其中，

为上升沿对应时间点，

为下降沿对应的时间点，dⁱ(k)表示第k张图像中第i个区域的灰度平均值，threshold代表阈值。阈值的取值与拍摄视频的光照条件有关，一般在30-80之间。

结果分析：

为了说明灰度变化曲线与冰裂过程的关系，以除冰视频中采样得到的图像序列中的6个目标区域为例进行分析，附图7为本发明目标区域选取示意图，并经过本发明基于图像处理技术的机械除冰过程检测方法的计算，得到如附图8所示的目标区域灰度变化曲线，其中，

一号点所在目标区域的冰块在3秒左右开始破碎，由于刚开始时冰块亮度较高，在破碎时并未检测到明显的上升沿，但之后的灰度值一直很高，是因为该区域的冰块一直未脱落所致。

二号点和四号点所在目标区域的冰块一直都未破碎，因而灰度无明显变化。

三号点所在目标区域的冰块在3秒左右破碎，118秒左右脱落，灰度图像中有明显的上升和下降沿，冰块处于破碎的时间较长。

五号点所在目标区域的冰块在3秒左右破碎，16秒左右脱落，灰度图像中有明显的上升和下降沿，冰块处于破碎的时间较短。

六号点所在目标区域冰块在4秒左右瞬间破裂与脱落，由于采样间隔较大，并未检测出上升沿。

检测结果证明运用本发明中的图像处理技术，将冰层的破坏过程与图像的灰度值进行对应，能够清楚的反应冰层破碎和脱落的两个过程，并获得了冰层破碎和脱落的时间历程数据，有助于提高除冰过程的检测效率，实现了机械除冰图像处理的自动化。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于图像处理技术的机械除冰过程检测方法，其特征在于，所述方法包括以下步骤：

步骤一，从冰裂过程的视频中获取结冰图像；包括从冰裂过程的视频中以相同的时间间隔采样获得多帧彩色图像，将所述彩色图像转换为灰度图像，并对所述灰度图像进行裁剪，去除所述灰度图像中非目标部分，得到结冰图像；

步骤二，对结冰图像进行预处理，获得矫正图像；

步骤三，矫正图像的网格划分；

步骤四，统计每一帧矫正图像中每个网格区域的平均灰度值，并输出灰度变化曲线，灰度变化曲线为每一帧校正图像灰度变化的时间序列曲线；

步骤五，灰度变化曲线中上升沿和下降沿对应时间的计算，根据上升沿和下降沿对应时间，获得冰层破碎和脱落的时间历程数据。

2.根据权利要求1所述的基于图像处理技术的机械除冰过程检测方法，其特征在于，所述步骤一具体包括：

从超声波除冰试验或冰裂现象的视频中以相同的时间间隔采样获得多帧彩色图像，将多帧所述彩色图像转换为灰度图像，并对所述灰度图像进行裁剪，去除所述灰度图像中非目标部分，得到结冰图像。

3.根据权利要求1所述的基于图像处理技术的机械除冰过程检测方法，其特征在于，所述步骤二具体包括：

对结冰图像进行投影变换，所述投影变换的公式如下：

其中(u,v)是原始结冰图像中各像素点的坐标，(x,y)是投影变换后结冰图像中各像素点的坐标，w和w′是辅助坐标，x＝x′/w′，y＝y′/w′，a₁₁,a₂₂代表缩放变换，a₁₂,a₂₁代表错切变换，a₁₃,a₂₃代表投影变换，a₃₁,a₃₂代表平移变换，a₃₃的值为1，无变换意义；

根据原始结冰图像中四个角像素点的坐标，求取投影变换公式，从任意四边形的原始结冰图像变换到一个正方形的矫正图像，变换的4组对应点的转换关系可以表示如式(3)：

其中(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)分别表示原始结冰图像中四个角像素点的坐标，(0,0)、(1,0)、(1,1)、(0,1)分别表示变换后对应四个角像素点的坐标，将上述坐标代入公式(2)中，具体将(x₀,y₀)、(x₁,y₁)、(x₂,y₂)、(x₃,y₃)依次代入(u,v)中，(0,0)、(1,0)、(1,1)、(0,1)依次代入(x,y)中，将上述转换关系代入公式(2)中，求解方程得到矩阵[a_ij]，

4.根据权利要求1所述的基于图像处理技术的机械除冰过程检测方法，其特征在于，将矫正图像的结冰区域等分为若干网格区域。

5.根据权利要求1所述的基于图像处理技术的机械除冰过程检测方法，其特征在于，所述步骤四中所述灰度变化曲线为每一帧矫正图像灰度变化的时间序列曲线。

6.根据权利要求1所述的基于图像处理技术的机械除冰过程检测方法，其特征在于，所述步骤五中上升沿和下降沿对应的时间根据公式(4)计算得出：

其中，

为上升沿对应时间点，

为下降沿对应的时间点，dⁱ(k)表示第k张图像中第i个区域的灰度平均值，t代表采样时间间隔，threshold代表阈值。

Images