CN114022672B - 一种火焰数据生成方法及终端 - Google Patents

Abstract

本发明公开一种火焰数据生成方法及终端，获取训练样本集和预设背景图像；使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据，能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，使得最终的火焰数据更加符合实际情况，更加真实、有效，从而有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题。

Description

一种火焰数据生成方法及终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种火焰数据生成方法及终端。

背景技术

目标检测是计算机视觉中最重要的任务之一，其中，山火的目标检测具有极大的现实意义和经济意义，且具有重要研究价值。目前的山火检测难点在于：（1）火灾数据少；（2）白天和黑夜场景特征差异大；（3）火焰出现的形态千变万化，特征不稳定，更进一步加剧了数据少的问题。

目前，大多数基于深度学习的火焰检测方法都只能在已有的数据上训练模型或改进算法，但该任务的难点不在算法和模型本身，而是数据的缺乏，以及由于火焰形态的千变万化，每一种形态的火焰数量也是不均衡的；有些地方火灾较多，有些地方火灾较少，在火灾发生较少的地方我们无法获得针对同一场景足够的训练数据，因此，在数据集不完美的情况下，继续一味地提升算法和深度学习模型是较为徒劳的。

发明内容

本发明所要解决的技术问题是：提供一种火焰数据生成方法及终端，能够有效增加火焰检测的样本数据。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种火焰数据生成方法，包括：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种火焰数据生成终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

本发明的有益效果在于：使用获取的训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络，使用训练后的火焰生成网络对获取的预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将火焰图像与预设背景图像进行合成，生成火焰数据，能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，并将火焰图像与预设背景图像进行合成，能够避免预设背景图像中与火焰无关的背景被同时改变，使得最终的火焰数据更加符合实际情况，更加真实、有效，从而有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题。

附图说明

图1为本发明实施例的一种火焰数据生成方法的步骤流程图；

图2为本发明实施例的一种火焰数据生成终端的结构示意图；

图3为本发明实施例火焰数据生成方法中的随机火焰生成的流程示意图；

图4为本发明实施例火焰数据生成方法中的预设背景图像示意图；

图5为本发明实施例火焰数据生成方法中的带有一种火焰的预设背景图像示意图；

图6为本发明实施例火焰数据生成方法中的带有另一种火焰的预设背景图像示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种火焰数据生成方法，包括：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

从上述描述可知，本发明的有益效果在于：使用获取的训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络，使用训练后的火焰生成网络对获取的预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将火焰图像与预设背景图像进行合成，生成火焰数据，能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，并将火焰图像与预设背景图像进行合成，能够避免预设背景图像中与火焰无关的背景被同时改变，使得最终的火焰数据更加符合实际情况，更加真实、有效，从而有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题。

进一步地，所述获取训练样本集和预设背景图像之前包括：

获取第一火焰训练样本集，所述第一火焰训练样本集包括火焰掩码标注；

使用带有所述火焰掩码标注的所述第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络。

由上述描述可知，使用带有火焰掩码标注的第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络，该预设火焰分割网络能够有效地将火焰部分分割出来，且忽略无关背景部分，便于后续合成火焰数据。

进一步地，所述训练样本集包括第二火焰训练样本集和背景训练样本集；

所述使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络包括：

使用所述第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络。

由上述描述可知，使用第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络，第二火焰训练样本集中的火焰训练样本即火焰占比较大的训练样本图像，背景训练样本集即没有任何火焰的训练样本图像，最终训练得到的火焰生成网络能够对各种不同的特定背景生成随机火焰效果。

进一步地，所述使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像包括：

从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块；

使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同。

由上述描述可知，根据火焰只会出现在背景图像下半部分的地面和建筑物，而不会出现在天空的特点，从预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块，使用训练后的火焰生成网络对一预设背景图像中的目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从中确定一带有火焰的预设背景图像，有效地实现了火焰的随机生成。

进一步地，所述从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块时，还包括：保存所述目标图像块对应的坐标；

所述将所述火焰图像与所述预设背景图像进行合成，生成火焰数据包括：

按照所述目标图像块对应的坐标将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

由上述描述可知，为了避免随机生成火焰时，火焰无关的背景可能也会被同时改变，比如白天可能会改变成黑夜，因此，按照目标图像块对应的坐标将火焰图像与预设背景图像进行合成，生成火焰数据，这样得到的火焰数据更加符合预设背景图像的实际情况，提高了火焰数据的真实性和有效性。

请参照图2，一种火焰数据生成终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

从上述描述可知，本发明的有益效果在于：使用获取的训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络，使用训练后的火焰生成网络对获取的预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将火焰图像与预设背景图像进行合成，生成火焰数据，能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，并将火焰图像与预设背景图像进行合成，能够避免预设背景图像中与火焰无关的背景被同时改变，使得最终的火焰数据更加符合实际情况，更加真实、有效，从而有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题。

进一步地，所述获取训练样本集和预设背景图像之前包括：

获取第一火焰训练样本集，所述第一火焰训练样本集包括火焰掩码标注；

使用带有所述火焰掩码标注的所述第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络。

由上述描述可知，使用带有火焰掩码标注的第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络，该预设火焰分割网络能够有效地将火焰部分分割出来，且忽略无关背景部分，便于后续合成火焰数据。

进一步地，所述训练样本集包括第二火焰训练样本集和背景训练样本集；

所述使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络包括：

使用所述第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络。

由上述描述可知，使用第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络，第二火焰训练样本集中的火焰训练样本即火焰占比较大的训练样本图像，背景训练样本集即没有任何火焰的训练样本图像，最终训练得到的火焰生成网络能够对各种不同的特定背景生成随机火焰效果。

进一步地，所述使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像包括：

从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块；

使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同。

由上述描述可知，根据火焰只会出现在背景图像下半部分的地面和建筑物，而不会出现在天空的特点，从预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块，使用训练后的火焰生成网络对一预设背景图像中的目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从中确定一带有火焰的预设背景图像，有效地实现了火焰的随机生成。

进一步地，所述从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块时，还包括：保存所述目标图像块对应的坐标；

所述将所述火焰图像与所述预设背景图像进行合成，生成火焰数据包括：

按照所述目标图像块对应的坐标将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

由上述描述可知，为了避免随机生成火焰时，火焰无关的背景可能也会被同时改变，比如白天可能会改变成黑夜，因此，按照目标图像块对应的坐标将火焰图像与预设背景图像进行合成，生成火焰数据，这样得到的火焰数据更加符合预设背景图像的实际情况，提高了火焰数据的真实性和有效性。

本发明上述的一种火焰数据生成方法及终端能够适用于输电线火焰检测中，用于增加训练用的火焰图片样本数据，以下通过具体实施方式说明：

实施例一

请参照图1、图3-图6，本实施例的一种火焰数据生成方法，包括：

S01、获取第一火焰训练样本集，所述第一火焰训练样本集包括火焰掩码标注；

本实施例中，所述第一火焰训练样本集为100张火焰训练样本；

S02、使用带有所述火焰掩码标注的所述第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络；

具体的，使用带有火焰mask（掩码标注）的100张火焰训练样本对UNet神经网络进行训练，得到预设火焰分割网络，能够从一张带有火焰的图像中分割出火焰图像；

S1、获取训练样本集和预设背景图像；

其中，所述训练样本集包括第二火焰训练样本集和背景训练样本集；

本实施例中，所述第二火焰训练样本集为900张火焰训练样本，该火焰训练样本中火焰占比较大，能够使得火焰生成网络更好地学习火焰特征；所述背景训练样本集为900张背景训练样本，该背景训练样本中不存在任何火焰，使得火焰生成网络能够对一个随机场景生成火焰效果；

S2、使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

具体的，使用所述第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

其中，所述火焰生成网络为GAN网络（Generative Adversarial Networks，生成式对抗网络）；则所述GAN网络将所述第二火焰训练样本集作为真实数据，将所述背景训练样本集作为噪声，最终能够根据输入的第二火焰训练样本集和背景训练样本集输出带有随机火焰的背景训练样本集；

S3、使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像，具体包括：

S31、从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块，保存所述目标图像块对应的坐标；

由于火焰只会出现在下半部分地面和建筑物，而不会出现在天空，本实施例中，所述预设区域为所述预设背景图像的下半区域；

S32、使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同；

即对每一预设背景图像都生成多张带有火焰的预设背景图像，且每张中的火焰样式不同；

其中，所述预设数量可根据实际情况设置，本实施例中，所述预设数量为4；

具体的，如图3所示，使用训练后的火焰生成网络对一预设背景图像中的目标图像块（patch）进行随机火焰生成，得到4张带有火焰的预设背景图像，从4张带有火焰的预设背景图像中确定出1张带有火焰的预设背景图像，确定出的这张带有火焰的预设背景图像符合预设火焰效果，所述预设火焰效果即符合实际情况且合理的火焰效果；

S4、将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据，如图3所示，具体包括：

按照所述目标图像块对应的坐标将所述火焰图像与所述预设背景图像进行合成，生成火焰数据；

如图4、图5和图6所示，图4展示了本实施例中所述预设背景图像，图5和6分别展示了随机生成的所述带有火焰的预设背景图像，本发明能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题，从而提高了输电线火焰检测的准确性。

实施例二

请参照图2，本实施例的一种火焰数据生成终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的火焰数据生成方法中的各个步骤。

综上所述，本发明提供的一种火焰数据生成方法及终端，获取训练样本集和预设背景图像；使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；根据火焰只会出现在背景图像下半部分的地面和建筑物，而不会出现在天空的特点，从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块；使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同，有效地实现了火焰的随机生成；将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据，能够对特定的预设背景图像生成随机火焰，形成原图某个位置起火的效果，将带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，并将火焰图像与预设背景图像进行合成，能够避免预设背景图像中与火焰无关的背景被同时改变，使得最终的火焰数据更加符合实际情况，更加真实、有效，从而有效增加了火焰检测的样本数据，解决了数据样本量不足以及火焰数据缺乏多样性的问题。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种火焰数据生成方法，其特征在于，包括：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据；

所述使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像包括：

从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块；

使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同。

2.根据权利要求1所述的一种火焰数据生成方法，其特征在于，所述获取训练样本集和预设背景图像之前包括：

获取第一火焰训练样本集，所述第一火焰训练样本集包括火焰掩码标注；

使用带有所述火焰掩码标注的所述第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络。

3.根据权利要求1所述的一种火焰数据生成方法，其特征在于，所述训练样本集包括第二火焰训练样本集和背景训练样本集；

所述使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络包括：

使用所述第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络。

4.根据权利要求1所述的一种火焰数据生成方法，其特征在于，所述从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块时，还包括：保存所述目标图像块对应的坐标；

所述将所述火焰图像与所述预设背景图像进行合成，生成火焰数据包括：

按照所述目标图像块对应的坐标将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

5.一种火焰数据生成终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

获取训练样本集和预设背景图像；

使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络；

使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像；

将所述带有火焰的预设背景图像输入预设火焰分割网络进行火焰分割，得到火焰图像，并将所述火焰图像与所述预设背景图像进行合成，生成火焰数据；

所述使用所述训练后的火焰生成网络对所述预设背景图像进行随机火焰生成，得到带有火焰的预设背景图像包括：

从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块；

使用所述训练后的火焰生成网络对一所述预设背景图像中的所述目标图像块进行随机火焰生成，得到预设数量的带有火焰的预设背景图像，并从所述预设数量的带有火焰的预设背景图像中确定一带有火焰的预设背景图像；每一所述带有火焰的预设背景图像的火焰不同。

6.根据权利要求5所述的一种火焰数据生成终端，其特征在于，所述获取训练样本集和预设背景图像之前包括：

获取第一火焰训练样本集，所述第一火焰训练样本集包括火焰掩码标注；

使用带有所述火焰掩码标注的所述第一火焰训练样本集对UNet神经网络进行训练，得到预设火焰分割网络。

7.根据权利要求5所述的一种火焰数据生成终端，其特征在于，所述训练样本集包括第二火焰训练样本集和背景训练样本集；

所述使用所述训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络包括：

使用所述第二火焰训练样本集和背景训练样本集对火焰生成网络进行训练，得到训练后的火焰生成网络。

8.根据权利要求5所述的一种火焰数据生成终端，其特征在于，所述从所述预设背景图像的预设区域中随机裁剪一随机尺寸的图像块，得到目标图像块时，还包括：保存所述目标图像块对应的坐标；

所述将所述火焰图像与所述预设背景图像进行合成，生成火焰数据包括：

按照所述目标图像块对应的坐标将所述火焰图像与所述预设背景图像进行合成，生成火焰数据。

Images