CN113392805A - 一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法 - Google Patents

Abstract

一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，包括：1)生成多种不同形态的火星灰度图像，处理后生成数据集并训练模型；2)对异常火星检测：获取9帧图像序列，对每张图像预处理；图像序列分为4组图像子序列，由运动感知编码器编码，得到4个时空上下文向量；干扰亮线段编码器提取前三组图像中长时存在的干扰亮线段深度时空特征图；解码器融合第四组图像子序列对应的时空上下文向量与干扰亮线段深度时空特征图并解码得到可以区分火星和干扰亮线段的时空非线性深度特征图；检测时空非线性深度特征图中的火星特征。若包含可疑火星特征，则输出所有可疑火星位置并进行报警。该方法准确可靠，鲁棒性强。

Description

一种采用基于ConvLSTM的视频编解码器的航空发动机火星检 测方法

技术领域

本发明属于发动机检测技术领域，特别涉及一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法。

背景技术

航空发动机在点火试验过程中，可能会发生喷射火星的异常现象，该现象产生的原因是航空发动机内部产生的白炽热点被高速的气流带出燃烧室。而白炽热点可能是由燃烧室内部传热性能较差积碳在高温高压环境下形成，也可能是由于航空发动机内部出现了结构性的损害，破损的结构在高温高压下的环境下产生了白炽热点。因此，航空发动机试验过程中火星异常的出现往往是航空发动机性能、结构或者运行不稳定的体现。如何有效地从监控视频中检测火星并及时报警，被认为是航空发动机试验智能检测需解决的关键问题之一，实现对航空发动机试验过程中火星异常的有效智能检测，可以解放人力资源，促进航空发动机试验技术的发展。

航空发动机产生的异常火星，在不同的情况下具有不同的形态，如椭圆、线段形状等。虽然火星的形态特征非常明显，但却非常普遍。在经典目标检测深度学习网络的特征提取过程中，火星被提取特征通常表现为亮点、亮线段，而由于航空发动机试验舱内部结构的复杂性和运行场景的多样性，检测场景中会出现晃动的线缆、振动的发动机身、反光的金属叶片等物体边缘产生的同样为亮点或亮线段的特征。因此，直接使用传统目标检测深度学习网络进行航空发动机火星检测会导致过检测，不具有实用性。

目前，在经典目标检测深度学习领域，针对航空发动机试验火星异常检测并没有有效的解决办法。经典的目标检测深度学习网络在检测航空发动机高速喷射的椭圆、线段形状等不同形态的火星时会发生过检测现象，其根本原因在于这些网络的输入仅为一张图像，无法获取复杂环境中航空发动机试验视频数据的相关时空序列中的深层非线性相关特征和时空依赖特征，难以正确鉴别场景中火星和产生干扰亮线段的物体边缘。此外，由于航空发动机故障较少，获取数据集困难，且真实场景下搜集的火星数据往往颜色、形态存在局限性，难以涵盖火星所有的颜色特征与形态特征，数据集的稀缺以及数据集包涵特征的片面也导致数据驱动型的深度学习网络难以在真实航空发动机试验中部署。

近年来随着深度学习网络在机器视觉领域的崛起，其深度卷积神经网络可以通过反向传播算法自动训练更新网络的权重，用于学习提取相关的图像特征，在目标检测、目标识别和目标分割领域中得到了极广泛的应用，成为尖端科研领域、工业应用领域的主流框架。

实验中，采用雨滴形态纹理生成建模算法生成火星的方法在模拟实际情况下的航空发动机火星异常时取得了良好效果。通过该算法生成了椭圆、线段状等650种不同的火星，通过灰度图像变换、放大缩小、旋转等，增加了其形态的多样性与真实性，极大地还原了真实情况下火星的形态特点，生成的仿真航空发动机试验异常数据集可以训练出高精度和高鲁棒性的航空发动机火星检测模型；虽然LSTM已被证明是学习时序数据长时依赖特征的有效模型，但其也仅局限于学习一维向量之间相关时间特征，难以解决空间数据冗余性的问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，ConvLSTM通过卷积运算代替乘法运算，不仅拥有学习不同时间步的长时依赖性特征的优势，还具有捕捉图像序列数据中时空序列关联特征的能力，视频编解码器使用ConvLSTM作为其组件，可以获取并学习历史航空发动机试验时空序列数据中的深层时空关联特征，从而提升级联的目标检测器的航空发动机火星检测能力；因此本发明能够有效检测航空发动机产生的火星并进行报警，适用范围广，检测结果准确可靠，有较高的鲁棒性。

为了实现上述目的，本发明采用的技术方案是：

一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，包括以下步骤：

步骤1)，利用雨滴形态纹理建模算法模拟真实情况下的航空发动机异常火星图像，生成多种不同形态的火星灰度图像，对其进行预处理后覆盖至灰度化的正常航空发动机试验图像中的随机位置，同时生成对应标签信息来生成数据集；

步骤2)，将基于ConvLSTM的视频编解码器与目标检测器级联构成基于ConvLSTM的航空发动机火星检测模型，并利用步骤1)的数据集进行训练，对输入的航空发动机试验图像序列编解码后得到可以区分火星和干扰亮线段的特征图，再将特征图输入目标检测器对其中的火星特征进行检测，若包含可疑火星特征则输出可疑火星位置并报警。

所述步骤1)中的形态至少包括椭圆形状和线段形状火星，所述火星灰度图像的灰度化方法，是由实际观测规律，采用随机数法设定生成火星的灰度值，且灰度值大于等于100小于等于255。

所述雨滴形态纹理建模算法可基于高斯函数实现。

所述步骤1)将生成的不同形态火星图像按照不同的比例范围进行缩放、旋转增加其形态的多样性与真实性。

所述步骤1)在正常航空发动机试验图像中添加一颗或者多颗火星的灰度图像来模拟零星的火星异常和簇状的火星异常，并在生成火星对应的位置标签信息时，一个标记框中包含1～15颗火星，模拟真实航空发动机的火星异常情况。

所述步骤2)包括：

步骤2.1)，从航空发动机现场监控视频中获取9帧长度的图像序列，对其中每一张图像预处理，航空发动机火星检测模型的输入为预处理后的图像序列；

步骤2.2)，将预处理后的9帧长度图像序列分为4组图像子序列，4组图像子序列分别输入由ConvLSTM组成的运动感知编码器进行编码，提取每组图像子序列的深度时空特征，得到4个时空上下文向量；

步骤2.3)，按照时间顺序将前3个时空上下文向量拼接为一个新的时空序列，输入由另一个ConvLSTM组成的干扰亮线段编码器进行编码，提取前三组图像中长时存在的干扰亮线段深度时空特征图；

步骤2.4)，由另一个ConvLSTM组成的解码器输入第四组图像子序列对应的时空上下文向量，其初始长时隐藏状态为前三组图像中长时存在的干扰亮线段深度时空特征图，解码器中的ConvLSTM融合两种时空信息并解码得到可以区分火星和干扰亮线段的时空非线性深度特征图；

步骤2.5)，级联的目标检测器检测时空非线性深度特征图中的火星特征，若第四组图像中包含可疑火星特征，则目标检测器输出第四组图像中所有可疑火星位置并进行报警。

所述图像预处理是图像大小归一化和灰度化。

所述步骤2.2)中，按照时间顺序，将预处理后的9帧长度图像序列的1～3帧、3～5帧、5～7帧和7～9帧分为4组，从前3组即前1～7帧中获取场景中长期存在的干扰亮线段的运动时空特征，从第4组即7～9帧获取短期存在的火星和干扰亮线段边缘的时空特征。

与现有技术相比，本发明的有益效果是：

1、在实现火星数据集模拟生成时，提出的雨滴形态纹理建模算法，能够生成各种形态的椭圆、线段状火星。通过灰度图像变换和一定比例范围的图像放缩，增加了其形态的多样性与真实性，极大的还原了真实情况下火星的形态特点，为数据驱动型的深度学习网络训练提供大力支持。

2、ConvLSTM相比于LSTM，可以学习时间依赖特征，抽取空间相关性特征。不仅拥有学习不同时间步的长时依赖性特征的优势，还具有捕捉图像序列数据中时空序列关联特征的能力。因此本发明使用ConvLSTM作为编解码器的组件可以获取并学习历史航空发动机火星图像时空序列数据中的深层时空关联特征，通过序列到序列学习的时空关联特征、深层非线性相关特征，获取带有可疑火星时空运动信息的特征图，从而提升级联的目标检测器的航空发动机火星检测能力。基于ConvLSTM的视频编解码器与目标检测器的级联结构，有效减少了目标检测模型的过检测、漏检测，极大提高航空发动机火星检测系统的抗干扰能力，能够进行实时、高效和高帧率的航空发动机火星检测以及报警，若检测到火星，则进行报警；否则，继续进行火星监控。

3、通过后期实验，由本发明提出的基于ConvLSTM的视频编解码器，可以实现与任何目标检测器进行级联，赋予检测系统对时空序列的时空关联特征和深层非线性相关特征的特征提取能力；同时，该视频编解码器与目标检测器级联后，可以适用于在各种动态光照、复杂背景和各类物体运动干扰下，对于存在干扰亮线段场景下的航空发动机火星检测。目前，本发明提出的基于ConvLSTM的视频编解码器的编解码速率高、特征提取准确和泛化性强，能够适应目前深度学习目标检测领域任意的目标检测网络框架。

附图说明

图1为航空发动机试验异常火星检测方法流程图。

图2为航空发动机火星检测深度学习模型网络结构图。

图3为运动感知编码器编码效果示例图，(a)、(b)和(c)为三个不同时刻的航空发动机图像运动感知编码效果。

图4为干扰亮线段编码器编码效果示例图。

图5为编解码器解码效果示例图，(a)、(b)、(c)、(d)、(e)和(f)为六个不同时刻包涵不同形态的异常火星的解码效果。

图6为仿真航空发动机试验异常火星数据集生成方法流程图。

图7为仿真火星灰度图像示例图。

图8为仿真航空发动机试验异常火星数据集示例图，(a)为添加单颗火星的图像；(b)为添加零散火星的图像；(c)为添加簇状火星的图像。

图9为复杂环境下航空发动机试验火星异常检测结果示例图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为一种基于ConvLSTM的视频编解码器的航空发动机火星检测方法，包括以下步骤：

1)通过在正常的航空发动机试验图像数据上添加仿真火星和生成对应标签信息来生成数据集。

具体地，本发明模拟真实情况下的航空发动机异常火星图像，利用雨滴形态纹理建模算法生成多种模拟各种真实的椭圆、线段形状火星，基本涵盖现实中所有形态的火星。

将火星图像灰度化处理：由实际观测规律，采用随机数法设定生成火星的灰度值，使得其灰度值大于等于100小于等于255，以避免实际情况下，由于金属燃烧产生的火星色域过广，导致生成仿真数据集困难的问题。

将不同形态的火星灰度图像进行如下预处理：按照不同比例范围进行缩放，再将其以随机角度旋转，增加其形态的多样性与真实性，极大的还原了真实情况中火星的形态特点。

将一颗或者多颗预处理后的火星灰度图像覆盖至灰度化的正常航空发动机试验图像中的随机位置，模拟零星的火星异常和簇状的火星异常，同时生成对应标签信息来生成数据集。

其中在生成火星对应的位置标签信息时，一个标记框中包含1～15颗火星，模拟真实航空发动机的火星异常情况。使用该数据集训练的航空发动机火星检测模型能够检测单颗和簇状的多颗火星，解决了航空发动机火星异常数据集稀缺导致深度学习模型训练困难问题。

2)将基于ConvLSTM的编解码器与目标检测器级联构成航空发动机火星检测模型，并利用步骤1)的数据集进行训练，其中编解码器由3个ConvLSTM组成，包括运动感知编码器、干扰亮线段编码器和解码器，对输入的航空发动机试验图像序列编解码后得到可以区分火星和干扰亮线段的时空非线性深度特征图，该特征图作为级联的目标检测器的输入，目标检测器再对其中的火星特征进行检测，若包含可疑火星特征则输出可疑火星位置并报警。参考图1，具体步骤如下：

2.1)从现场监控视频中获取9帧长度的图像序列，对其中每一张图像预处理，航空发动机火星检测模型的输入为预处理后的9帧长度的图像序列。由于航空发动机火星检测模型是使用灰度化的仿真航空发动机火星异常数据集进行训练，所以航空发动机火星检测模型部署时其输入的图像需要进行预处理，包括图像大小归一化和灰度化。

2.2)将输入序列的预处理后的9帧长度的图像序列按照时间顺序分组，即1～3帧、3～5帧、5～7帧和7～9帧这4组，4组图像子序列分别输入由ConvLSTM组成的运动感知编码器进行编码，提取每组子序列的深度时空特征，得到4个时空上下文向量。对长时空序列的分组和运动感知编码器的设计，避免了ConvLSTM直接输入长序列导致的提取的时空深度特征被后续输入冲淡的问题。

2.3)按照时间顺序将前3个时空上下文向量拼接为一个新的时空序列，输入由另一个ConvLSTM组成的干扰亮线段编码器进行编码，提取前三组(1～7帧)图像中长时存在的干扰亮线段深度时空特征图。由于以单张图像为输入的目标检测器在航空发动机火星检测任务上无法区分火星和由试验舱内物体边缘产生的干扰亮线段，所以会产生大量过检测。通过将长度为9帧的输入图像序列划分为前7帧(1～7帧)和末3帧(7～9帧)两部分，从前7帧中获取场景中长期存在的干扰亮线段的运动时空特征。从末3帧中获取短期存在的火星和干扰亮线段边缘的时空特征。通过由ConvLSTM组成解码器融合、解码这两种时空特征即可排除干扰亮线段对最终检测结果的影响。

2.4)由另一个ConvLSTM组成的解码器的输入第四组(7～9帧)图像子序列对应的时空上下文向量，其初始长时隐藏状态为前三组(1～7帧)图像中长时存在的干扰亮线段深度时空特征图，解码器中的ConvLSTM融合两种时空信息并解码得到可以区分火星和干扰亮线段的时空非线性深度特征图。基于ConvLSTM的视频编解码器可以与任意深度学习目标检测器级联，使得相应目标检测器具有学习复杂环境下航空发动机火星相关时空序列数据中的深层非线性相关特征和时空依赖特征的能力，解决目标检测器在航空发动机火星检测任务上的过检测问题。

2.5)由视频编解码器级联目标检测器构成的航空发动机火星检测模型进行端到端的深度学习，级联的目标检测器检测时空非线性深度特征图中的火星特征，若第四组(7～9帧)图像中包含可疑火星特征，则目标检测器输出第四组(7～9帧)图像中所有可疑火星位置并进行进一步报警，级联的目标检测器在该特征图上进行火星特征检测可以有效减少过检测。

本发明中，视频编解码器对输入的航空发动机试验图像序列编解码来提取图像时空序列数据中的深层非线性相关特征和时空依赖特征，该特征可以区分火星和干扰亮线段。该编解码器基于序列到序列学习模型，计算过程可以表示为：

P(f|X_t-l,X_t-l+1,...,X_t)＝P(f|c_t)

其中，(X_t-l,X_t-l+1,...,X_t)是作为模型输入的时序数据，f是模型的单步预测输出序列。

该基于序列到序列学习模型的编码器首先对输入序列(X_t-l,X_t-l+1,...,X_t)进行编码，生成并构建其隐含的特征表示，即上下文向量c_t，模型解码器在获取最后一个隐藏状态输出之后，可对上下文向量c_t进行解码，然后预测单步输出f。特别地，对于长度为9帧的图像序列输入有l＝8。最后利用目标检测器检测f中的火星特征，若包含可疑火星特征则输出可疑火星位置并报警；反之，继续监测。

在本发明的一个具体实施例中，步骤如下所示：

首先从帧速率为30帧每秒的航空发动机试验监控视频流中获取9帧长度的图像序列，然后将获取的所有图像缩放至长宽均为1024的图像，对尺寸归一化后的图像再进行灰度化，之所以航空发动机火星检测模型输入为尺寸归一化和灰度化后的图像序列，是因为航空发动机火星检测模型是使用尺寸归一化和灰度化的仿真航空发动机火星异常数据集进行训练。图像的尺寸归一化中，利用双线性插值法对原始图像进行缩放，统一神经网络输入图像大小，双线性插值在两种正交的方向上各使用一次线性插值方法；图像的灰度化采用加权平均法，相应灰度值参数设置如下：

Gray＝0.299*R+0.587*G+0.114*B

其中Gray为灰度化后像素的灰度值，R、G和B分别是灰度化前像素在红、绿、蓝三个通道上的亮度值。

如图2所示，然后9帧长度的图像序列按照1～3帧、3～5帧、5～7帧和7～9帧分组为4组图像子序列。输入的视频图像序列、4组图像子序列和编解码结果可以分别表示为:

X＝{x₁,x₂,...,x₉}

X₁＝{x₁,x₂,x₃}

X₂＝{x₃,x₄,x₅}

X₃＝{x₅,x₆,x₇}

X₄＝{x₇,x₈,x₉}

Y＝{f}

4组图像子序列分别输入由ConvLSTM组成的运动感知编码器进行编码，提取每组子序列的深度时空特征，得到4个时空上下文向量。图2中h_t和c_t分别是第t个时间步运动感知编码器的隐藏状态和编码的上下文潜在向量，编码过程可以表示为：

h_i,t,c_i,t＝ConvLSTM(x_i,t,h_i,t-1,c_i,t-1),1≤i≤4

其中x_i,t为X_i的第t个时间步数据，c_i,t是运动感知编码器在每一个时间步中对每一组图像子序列输入的运动感知编码，该编码方式可以确保对每组图像子序列提取相同的运动时空特征，并且降低ConvLSTM提取的时空特征被后续的输入冲淡的风险。此外之所以选取c_i,t作为上下文潜在向量而不是h_i,t，是因为c_i,t更能代表图像子序列的长时依赖特征和空间相关性特征。上述过程可简化为：

h_motioni,c_motioni＝ConvLSTMmotionenc(X_i)，1≤i≤4

上述编码过程中所用到的ConvLSTM的计算过程如下所示：

其中*表示卷积，

表示Hadamard乘积，X₁,X₁，...，X_t表示所有的输入，C₁，C₁，...,C_t表示细胞状态，H₁，H₁，...，H_t表示隐藏状态，门i_t，f_t，o_t为三维张量。ConvLSTM可以使用块对复杂的结构建模。

如图3中(a)、(b)和(c)所示，展示了运动感知编码器编码效果示例图，每组子图从左至右依次展示了运动感知编码器对于图像子序列编码的上下文潜在向量，图中可以看到每组图像子序列的火星和产生干扰亮线段的物体等被编码器提取了相关时空特征。

如图2所示，按照时间顺序将前3个时空上下文向量拼接为一个新的时空序列，输入由另一个ConvLSTM组成的干扰亮线段编码器进行编码，提取1～7帧中长时存在的干扰亮线段深度时空特征图。干扰亮线段编码器基于运动感知编码器对X₁、X₂和X₃编码的上下文潜在向量C＝{c_motion1，c_motion2，c_motion3}进行干扰亮线段的编码计算。由于干扰亮线段是由实验舱内物体边缘产生，因此时空非线性相关性大量存在于C中，并且其可被编码为上下文潜在向量c_mask，如下式所示：

h_mask，c_mask＝ConvLSTMnoiseenc(C)

如图4所示，展示了干扰亮线段编码效果示例图，图中可以看到图3中(a)、(b)和(c)长期存在的一些产生干扰亮线段物体例如振动的发动机体、摇晃的线缆和振动的发动机支架等被编码器提取了相关时空特征，而短时存在于图3中(a)、(b)和(c)即1～7帧中的火星则没有被提取特征，证明了这样的编码器结构设计可以提取场景中长期存在的干扰物体时空信息。

如图2所示，由另一个ConvLSTM组成的解码器的输入为7～9帧图像子序列对应的时空上下文向量，初始长时隐藏状态为1～7帧中长时存在的干扰亮线段深度时空特征图，解码器中的ConvLSTM融合两种时空信息并解码得到可以区分火星和干扰亮线段的时空非线性深度特征图。解码器基于编码的上下文潜在向量c_mask作为神经元长时隐藏状态，并且以包含X₄中火星和干扰亮线段信息的运动感知上下文潜在向量作为ConvLSTM的输入进行解码。解码器通过融合这两种信息解码得到可以鉴别火星和干扰亮线段的时空非线性相关性特征f，解码过程可以表示为：

如图5中(a)、(b)、(c)、(d)、(e)和(f)所示，展示了编解码器解码效果示例图，图中可以看到图像序列输入被编解码为了一张仅有火星纹理的特征图，而场景中了其他干扰物体均没有被提取特征，证明了解码器成功地融合了1～7帧中长时存在的干扰亮线段深度时空特征信息和7～9帧中短时存在的火星运动信息，提取出了可以鉴别火星和产生干扰亮线段的物体的时空非线性深度特征图。级联的目标检测器检测时空非线性深度特征图中的火星特征，若7～9帧中包含可疑火星特征，则目标检测器输出7～9帧中所有可疑火星位置并进行进一步报警。编解码结果特征图f将作为后续目标检测器的输入，并筛选检测X₇，X₈和X₉中所有的火星特征。

由于航空发动机故障率较低，导致训练数据集较少，且真实场景下搜集的火星数据往往颜色、形态存在局限性，难以涵盖火星所有的颜色特征与形态特征，故采用模拟生成火星图像覆盖到正常发动机图像上来模拟实际情况下发动机产生火星的情况。如图6所示，通过在正常航空发动机试验图像数据上添加仿真火星和生成对应标签信息来生成数据集并训练模型。引用雨滴形态纹理建模算法生成多种不同形态的火星灰度图像，对不同形态的火星按照不同比例范围进行缩放，将火星以随机角度旋转后再覆盖至灰度化的正常航空发动机试验图像中的随机位置。在视频数据的部分帧中添加一颗或者多颗火星并生成对应标签得到训练数据集，使用该数据集训练航空发动机火星检测模型。受到雨滴形态、纹理相关研究的启发，我们提出了一种利用高斯函数对火星的形态、纹理进行建模，该模型可以生成点状、线状、簇状等各种形态的火星。火星建模的函数具体表达式如下：

s(a)＝-0.2+5.0a-0.9a²+0.1a³

其中f为相机焦距，z为物距，a为物体的直径，b为火星高速运动被捕捉的条纹宽度，对于火星，其速度s可以用其直径a来近似表示，l为火星生成的长度，(μ_x,μ_y)为图像中心，θ为火星方向，(x,y)为火星位置参数。

通过上述公式生成650种椭圆、线段状等不同形态的火星，其中考虑包涵了实际火星成像中，摄像机的焦距，火星的物距，火星的速度不同导致最终成像火星的形态不同的影响，还原真实火星的形态特点，图7展示了仿真火星灰度图像示例图。

模拟生成火星后，对其采取灰度化处理，根据实际规律，将火星灰度值限制在大于等于100小于等于255的区间内，灰度变换公式如下所示：

采用灰度图像表示火星，可以完美避开实际情况下，由于金属燃烧等产生的火星的色域过广，导致数字模拟生成困难的问题。

为了使得数据集更加仿真，通过将生成的火星灰度图按照进行相应的缩放、旋转增加其形状的多样性与真实性，将其随机覆盖在1024*1024像素大小的含有绳索摇晃、摄像头振动的正常航空发动机图像上，覆盖过程中生成目标检测器所需要的标签信息。此外在生成火星对应的位置标签信息时，一个标记框中包含1～15颗火星，模拟真实航空发动机的火星异常情况。其中被添加火星的正常航空发动机试验视频数据中包含了线缆摇晃、摄像头振动、航空发动机振动、喷口尾焰摇曳、行人穿梭和舱内光线亮度变化等复杂干扰。通过这种生成的仿真数据集来进行航空发动机火星检测深度学习模型的训练是一种高效、高回报的深度学习模型训练方法，图8中(a)、(b)、(c)展示了仿真航空发动机试验异常火星数据集示例图。

生成仿真数据集的方法实现了实际航空发动机火星情况模拟，解决了航空发动机火星数据集稀缺的问题。使用该数据集训练的航空发动机火星检测模型能够检测单颗、簇状火星，该模型拥有高鲁棒性和高精准度，图9展示了复杂环境下航空发动机试验火星异常检测结果示例图。

综上可知，本发明方法应用范围广泛，方法简便易于应用，检测效率高，不需要拥有专业计算机图像知识的工作人员对模型进行维护工作，无需专业人员操作模型，可全自动检测航空发动机火星异常情况，在视频监控检测方面具有较大的应用前景。

以上的具体实施方式仅为本发明的较佳实施例，并不用以限制本发明，凡在发明的精神及原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，包括以下步骤：

步骤1)，利用雨滴形态纹理建模算法模拟真实情况下的航空发动机异常火星图像，生成多种不同形态的火星灰度图像，对其进行预处理后覆盖至灰度化的正常航空发动机试验图像中的随机位置，同时生成对应标签信息来生成数据集；

步骤2)，将基于ConvLSTM的视频编解码器与目标检测器级联构成基于ConvLSTM的航空发动机火星检测模型，并利用步骤1)的数据集进行训练，对输入的航空发动机试验图像序列编解码后得到可以区分火星和干扰亮线段的特征图，再将特征图输入目标检测器对其中的火星特征进行检测，若包含可疑火星特征则输出可疑火星位置并报警。

2.根据权利要求1所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述步骤1)中的形态至少包括椭圆形状和线段形状火星，所述火星灰度图像的灰度化方法，是由实际观测规律，采用随机数法设定生成火星的灰度值，且灰度值大于等于100小于等于255。

3.根据权利要求1所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述步骤1)将生成的不同形态火星图像按照不同的比例范围进行缩放、旋转增加其形态的多样性与真实性。

4.根据权利要求1或2或3所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述步骤1)在正常航空发动机试验图像中添加一颗或者多颗火星的灰度图像来模拟零星的火星异常和簇状的火星异常，并在生成火星对应的位置标签信息时，一个标记框中包含1～15颗火星，模拟真实航空发动机的火星异常情况。

5.根据权利要求1所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述步骤2)包括：

步骤2.1)，从航空发动机现场监控视频中获取9帧长度的图像序列，对其中每一张图像预处理，航空发动机火星检测模型的输入为预处理后的图像序列；

步骤2.2)，将预处理后的9帧长度图像序列分为4组图像子序列，4组图像子序列分别输入由ConvLSTM组成的运动感知编码器进行编码，提取每组图像子序列的深度时空特征，得到4个时空上下文向量；

步骤2.3)，按照时间顺序将前3个时空上下文向量拼接为一个新的时空序列，输入由另一个ConvLSTM组成的干扰亮线段编码器进行编码，提取前三组图像中长时存在的干扰亮线段深度时空特征图；

步骤2.4)，由另一个ConvLSTM组成的解码器输入第四组图像子序列对应的时空上下文向量，其初始长时隐藏状态为前三组图像中长时存在的干扰亮线段深度时空特征图，解码器中的ConvLSTM融合两种时空信息并解码得到可以区分火星和干扰亮线段的时空非线性深度特征图；

步骤2.5)，级联的目标检测器检测时空非线性深度特征图中的火星特征，若第四组图像中包含可疑火星特征，则目标检测器输出第四组图像中所有可疑火星位置并进行报警。

6.根据权利要求5所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述图像预处理是图像大小归一化和灰度化。

7.根据权利要求5所述采用基于ConvLSTM的视频编解码器的航空发动机火星检测方法，其特征在于，所述步骤2.2)中，按照时间顺序，将预处理后的9帧长度图像序列的1～3帧、3～5帧、5～7帧和7～9帧分为4组，从前3组即前1～7帧中获取场景中长期存在的干扰亮线段的运动时空特征，从第4组即7～9帧获取短期存在的火星和干扰亮线段边缘的时空特征。

Images