CN110363770B - 一种边缘引导式红外语义分割模型的训练方法及装置 - Google Patents

Abstract

本发明公开了一种边缘引导式红外语义分割模型的训练方法及装置，方法包括：1)、预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型；2)、使用预先标记了目标的样本集训练初始语义分割模型；3)、利用交叉熵损失函数计算训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值；4)、在训练次数大于或等于设定值的情况下，将训练后语义分割模型作为目标语义分割模型；5)、训练次数小于设定值的情况下，根据上述所得损失值更新训练后的语义分割模型的模型参数，返回执行步骤2)，直至训练次数大于或等于设定值。应用本发明实施例，可以提高语义分割的准确性。

Description

一种边缘引导式红外语义分割模型的训练方法及装置

技术领域

本发明涉及一种模型训练方法及装置，更具体涉及一种边缘引导式红外语义分割模型的训练方法及装置。

背景技术

语义分割是指将图像中每个像素都判定具体类别，然后使用不同的颜色将不同的语义类别加以区分。它在计算机视觉任务中，例如：无人驾驶，图像合成，现实增强等具有重要地位。尽管在过去的若干年中，语义分割取得了巨大进展。但是，都是针对可见光图像进行的，由于可见光图像受本身成像机制的限制在特定场景下的成像任具有巨大挑战。例如：在完全黑暗，光照变化较大，雾霾天等恶劣环境下，可见光摄像机拍摄到的图像质量会急剧下降，进而导致语义分割的结果不准确。热红外相机能捕捉到由目标自身体温发出的热外光波(0.75-13微米)，红外图像在完全黑暗或者光照变化较大的条件下具有很好的鲁棒性，因此，使用热红外图像可以弥补可见光图像在某些恶劣条件下的成像不足导致的语义分割结果不准确的技术问题。

但是，发明人发现，现有的语义分割方法都是基于全卷积神经网络的可见光语义分割网络实现红外光图像语义分割的，全卷积神经网络将传统卷积网络的最后几层全连接层替换成卷积层，于是原本输出的类别得分值被替换成空间响应图；现有的语义分割网络，如DeepLabv3采用的是空洞卷积设计模式，并在网络中采用平行和串联方式搭建，进而实现红外光图像语义分割，两种混合模式结合全局池化操作共同捕捉到多尺度和上下文信息。尽管红外图像在某些特定情况优于可见光图像，但是大多红外图像具有低分辨、目标模糊，热交叉特性，上述语义分割模型对红外光的特性没有进行充分的考虑，因此，红外光的这些特性会影响到语义分割的准确性。因此，现有技术存在语义分割的准确性较低的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种边缘引导式红外语义分割模型的训练方法及装置，以提高语义分割的准确性。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种边缘引导式红外语义分割模型的训练方法，所述方法包括：

1)、预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型，其中，边缘嵌入模块层包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层包括：若干个依次数据连接的残差网络模块；

2)、使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型；

4)、在所述训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型；

5)、在所述训练次数小于设定值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回执行步骤2)，直至所述训练次数大于或等于设定值。

可选的，所述边缘嵌入模块层，包括：依次数据连接的若干个边缘嵌入模块，若干个边缘嵌入模块中的首个边缘嵌入模块，用于对经过第一卷积层处理后的对应于红外图像的边缘特征图以及处理后的红外图像进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的；

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层；

若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；

除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

可选的，所述门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，其中，

每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层；

所述第四卷积层用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；

首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果，并将第一目标点乘结果输出至下一个门机制特征转换子层，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；

门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，用于使用第四卷积层对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果，将上一个门机制特征转换子层输出的目标点乘结果与第二目标点乘结果进行像素求和处理。

可选的，所述空洞卷积模块，包括并联的池化层以及若干个空洞卷积层级。

可选的，所述第五卷积层与池化层以及各个空洞卷积层数据连接；

所述第五卷积层，用于进行线性上采样，并将采样后的结果作为初始语义分割模型的输出。

可选的，所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；

将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；

将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集；

将第一图像集与第二图像集的集合作为样本集训练。

可选的，所述使用预先标记了目标的样本集训练所述初始语义分割模型，包括：

将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

可选的，所述方法还包括：

利用目标语义分割模型进行待分割图像的语义分割。

本发明实施例还提供了一种边缘引导式红外语义分割模型的训练装置，所述装置包括：

建立单元，用于预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型，其中，边缘嵌入模块层包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层包括：若干个依次数据连接的残差网络模块；

训练单元，用于使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型；

设置单元，用于在所述训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型；

返回单元，用于在所述训练次数小于设定值的情况下，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回触发训练单元，直至所述损失值小于设定值。

可选的，所述边缘嵌入模块层，包括：依次数据连接的若干个边缘嵌入模块，若干个边缘嵌入模块中的首个边缘嵌入模块，用于对经过第一卷积层处理后的对应于红外图像的边缘特征图以及处理后的红外图像进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的；

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层；

若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；

除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

可选的，所述门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，其中，

每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层；

所述第四卷积层用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；

首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果，并将第一目标点乘结果输出至下一个门机制特征转换子层，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；

门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，用于使用第四卷积层对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果，将上一个门机制特征转换子层输出的目标点乘结果与第二目标点乘结果进行像素求和处理。

可选的，所述空洞卷积模块，包括并联的池化层以及若干个空洞卷积层级。

可选的，所述第五卷积层与池化层以及各个空洞卷积层数据连接；

所述第五卷积层，用于进行线性上采样，并将采样后的结果作为初始语义分割模型的输出。

可选的，所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；

将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；

将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集；

将第一图像集与第二图像集的集合作为样本集训练。

可选的，所述训练单元，用于：

将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

可选的，所述装置还包括：分割模块，用于利用目标语义分割模型进行待分割图像的语义分割。

本发明相比现有技术具有以下优点：

应用本发明实施例，通过边缘检测网络提取目标的边缘信息，然后将提取到的边缘信息转换成边缘特征图，以此作为弱监督信息引导网络模型分割热红外图像，可以充分利用红外图像中的边缘特征信息，相对于现有技术中使用可见光语义分割模型进行包含红外特征图的语义分割，可以提高语义分割的准确性。

附图说明

图1为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的流程示意图；

图2为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中模型的结构示意图；

图3为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中训练集的生成方法的流程示意图；

图4为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中训练集中样本示意图；

图5为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中将可见光模态图像转换成红外模态图像的流程示意图；

图6为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的原理示意图；

图7为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的模型测试原理示意图；

图8为本发明实施例提供的一种边缘引导式红外语义分割模型的训练装置的结构示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例提供了一种边缘引导式红外语义分割模型的训练方法，下面首先就本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法进行介绍。

图1为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的流程示意图；如图1所示，所述方法包括：

S101：建立包括依次数据连接的边缘嵌入模块层100、残差网络模块层200、空洞卷积模块300以及第一卷积层400的初始语义分割模型，其中，边缘嵌入模块层100包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层200包括：若干个依次数据连接的残差网络模块。

图2为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中模型的结构示意图，如图2所示，

所述边缘嵌入模块层100，包括：依次数据连接的若干个边缘嵌入模块，如边缘嵌入模块101、边缘嵌入模块102、边缘嵌入模块103，其中，边缘嵌入模块102可以为多个边缘嵌入模块，这里仅仅是为了简单表达。

首个边缘嵌入模块101，用于对经过第一卷积层400处理后的对应于红外图像500的边缘特征图600以及处理后的红外图像500进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块101之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的。例如，第一个边缘嵌入模块101对池化层的输出数据以及第一卷积层400处理后的边缘特征图600进行处理，第二个边缘嵌入模块102对池化层的输出数据、第一个边缘嵌入模块101的输出数据以及第一卷积层400处理后的边缘特征图600进行处理；第三个边缘嵌入模块103对第二个边缘嵌入模块102的输出数据以及第一卷积层400处理后的边缘特征图600进行处理。

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层107；若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

另外，每一个门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，如门机制特征转化子层1001、门机制特征转化子层1002，其中，每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层2001；所述第四卷积层2001用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果2002，并将第一目标点乘结果2002输出至下一个门机制特征转换子层1002，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，如门机制特征转换子层1002，用于使用第四卷积层2001对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果2003，将上一个门机制特征转换子层输出的目标点乘结果，如第一目标点乘结果2001与第二目标点乘结果2003进行像素求和处理。

所述空洞卷积模块300，包括并联的池化层以及若干个空洞卷积层级。空洞卷积模块300可以扩大网络感受野。空洞金字塔卷积网络由4个空洞率(1，6，12，18)依次递增，卷积核大小为3x3，滑动步长为1，外边距等于空洞率值(1，6，12，18)且大小不变的卷积网络组成，用于捕捉多尺度信息。另外，池化后得到的特征尺寸为1x1的全局池化层是获得全局上下文信息，更有助于网络分割。最后得到的特征经过线性插值法上采样得到语义分割结果。

所述第五卷积层700与池化层以及各个空洞卷积层数据连接；所述第五卷积层，用于进行线性上采样，并将采样后的结果作为初始语义分割模型的输出。

S102：使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型。

首先需要预先构建样本训练集，且所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；图3为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中训练集的生成方法的流程示意图；

如图3所示，使用FLIR红外相机拍摄，拍摄数据包含不同视角和多种场景，一共有2，165张，20种语义类别的像素级标注的图片。数据标注采用开源标注工具labelme，聘请12个专业人士标注，从4，000张原始图片进行筛选、并二次检查，最终整理得到2，165张完整，高质量的像素级标注数据。图片的采集来自真实场景，部分图片展示如图4所示，图4为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中训练集中样本示意图；一共20个语义类别，分别是：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道。按照分割目标的位置，分室内和室外两种，其中室内目标有：椅子，灯，显示器，桌子。室外目标分为：树、道路、房屋、天空、汽车、草地。其中，行人既属于室内目标又属于室外目标。

然后，将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；本发明实施例中采用公开的多模态行人检测数据集KAIST进行训练，共5000张图像，将配准完成的数据对分别输入，利用pix2pixHD网络。图5为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法中将可见光模态图像转换成红外模态图像的流程示意图，网络结构如图5所示。网络分为生成网络，判别网络。经过若干次迭代，训练完成从可见光到热红外图像转换的模型。

然后，将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集

预设的可见光模态的语义分割数据集可以为现有的数据集Cityscapse，且pix2pixHD网络可以使用现有的成熟的网络，无需重新构建。

此外，由于现有开源数据集很少包含热红外模态下的语义分割数据集，因此，本发明实施例中还构建一个名叫SODA(SegmentingObjectsinDayandNight，昼夜分割物体)的热红外语义分割数据集，该数据集在复杂场景下拍摄，包含多种变化，一共包含20个类别，2165张像素级标注的真值数据。除此之外，为了进一步扩充数据，提高网络的泛化性，我们还利用pix2pixHD将现有的可见光语义分割数据转换成热红外模态，得到人工合成的扩充数据，共5000张。最终的总数据量提升至7165张。因此，本专利在现有的可见光语义分割网络的基础上引入边缘引导及提出一个新的红外语义分割数据集还有扩充红外数据的方法解决现有技术中的问题。

最后，将第一图像集与第二图像集的集合作为样本集。

应用本发明上述实施例，提出一个新的热红外语义分割数据集，弥补现有语义分割数据集在热红外模态的不足；最后提出一个新的热红外语义分割数据集生成方法，起到数据扩充功效，进一步弥补现有热红外模态数据不足缺陷。

在构建完成数据集后，使用预先标记了目标的样本集训练所述初始语义分割模型，图5为，如图5所示，具体训练步骤为：将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

示例性的，在进行初始语义分割模型的训练时，预先调整图片至指定大小，根据图片中心位置裁剪图片，随机水平翻转，随机调整图片大小至原来的0.5-2.0倍。图片增强模型批次读取数据m张，将增强后的数据作为初始语义分割模型输入。初始语义分割模型的整体结构是基于DeepLabv3改进。首先输入将样本集中的图像经过一个卷积核为7x7，滑动步长为2，外边距为1的卷积层和卷积核大小为3x3，滑动步长为2，外边距为1的池化层，以用于提取图片的编码特征。

然后将特征传入由多个边缘嵌入模块组成的边缘嵌入模块层100中，其中边缘嵌入模块模块如图2下方所示：每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，门机制特征转换子层会有两个输入，一个是主干网络提取的特征图，另一个是边缘特征图。在实际应用中，边缘特征图经过两个卷积层，使得边缘特征图的尺寸大小和主干网络提取的特征图保持一致方便后续操作。可以用M表示转上述边缘特征图的生成过程，(γ，β)＝M(Ψ)M(Ψ)为γ和β是基于边缘先验Ψ学习得到。在边缘嵌入模块的处理过程中，经过处理后的边缘特征图还将经过门机制处理，以将结果映射到0-1之间选择有用的信息，进而可以减少边缘噪声的影响。门机制处理具体过程可以使用数学表达式进行表示，如下：

(γ^*，β^*)＝σ(γ，β)，γ^∧＝γ⊙γ^*，β^∧＝β⊙β^*。

最后经过先元素点乘再相加操作，达到特征级的仿射变换。

边缘嵌入模块的处理过程可以用以下数学表达式进行处理：

GFT(F|γ，β)＝γ^∧⊙F+β^∧，其中，

F为特征图，γ和β均为网络学习到的先验知识，它的通道数、高、宽和F一致；⊙为元素点乘操作；

为元素相加操作。经过GFT，即边缘嵌入模块得到的结果会传入下个卷积层处理，再经过边缘嵌入模块，以此重复，最终提取到边缘引导的特征。

残差网络模块层200可以包括残差网络模块201、残差网络模块202、残差网络模块203。残差网络模块201可以由卷积核大小为1x1、步长大小为1、外边距为0的卷积层构成；残差网络模块202可以由卷积核大小为3x3、步长大小为2、外边距为1的卷积层构成；残差网络模块203可以由卷积核大小为1x1、步长大小为1、外边距为0的卷积层构成。

在实际应用中，残差网络模块层200最后还有一个残差连接，它是将第一层的输入传到第三层之后并和第三层的结果相加。

在实际应用中，可以将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，还可以先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

需要说明的是，边缘特征图可以被称为边缘概率图，且本发明实施例中构建的网络可以被称为条件边缘卷积网络。

S103：在训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型。

S104：在所述训练次数小于设定值的情况下，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回执行步骤S102，直至所述训练次数大于或等于设定值。

图6为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的原理示意图，图6为，载入一张热红外图像，及其对应的边缘检测图。输入训练后语义分割模型。得到热红外语义分割结果，并将结果转换成RGB模式。

采用交叉熵损失函数，计算预测结果和真值的损失值，其中，所述损失值可以包括：欧氏距离、曼哈顿距离等。

图7为本发明实施例提供的一种边缘引导式红外语义分割模型的训练方法的模型测试原理示意图，如图7所示，反传损失值，并更新参数。反复迭代，直至网络收敛。将上一步计算得到的损失反传至网络中，并用优化器更新模型参数，其中优化器采用随机梯度下降法，学习率随着网络训练次数动态设定，动量0.9，参数权重0.9。迭代指定训练次数，最终初始语义分割模型被训练完成，得到目标语义分割模型。

需要说明的是，利用随机梯度下降算法更新训练后的语义分割模型的模型参数的过程为现有技术，这里不再赘述。

应用本发明图1所示实施例，在热红外语义分割问题上，现有方法都是针对可见光模态数据，对于热红外数据存在画质不清晰，热交叉等问题没有很好的解决，通过边缘检测网络提取目标的边缘信息，然后将提取到的边缘信息转换成边缘特征图，以此作为弱监督信息引导网络模型分割热红外图像，可以充分利用红外图像中的边缘特征信息，相对于现有技术中使用可见光语义分割模型进行包含红外特征图的语义分割，可以提高语义分割的准确性。

本发明实施例构建的热红外数据集，包含了数据样本的数量更多，可以避免网络模型在训练过程中容易拟合的问题，很难进一步提升模型的容纳力。

实施例2

本发明实施例2在实施例1的基础上增加了步骤：利用目标语义分割模型进行待分割图像的语义分割。

图2表示本申请实施例中边缘引导语义分割方法测试阶段实施的流程示意图，如图所示，包括如下步骤：

输入单张热红外图及对应边缘检测图。将热红外图和边缘检测图进行数据处理，具体操作包括：图片尺寸重调整、减去均值除以方差。

网络计算得到对应语义分割结果。将处理完成的数据输入到参数已经训练完成的网络，网络结构和训练阶段一致，得到语义分割结果。不同语义标签对应到不同颜色值，然后将原始热红外图像转换成符合人眼感官的图像。

应用本发明上述实施例，可以对待分割图像进行语义分割。.

与本发明实施例1相对应，本发明实施例还提供了一种边缘引导式红外语义分割模型的训练装置。

图8为本发明实施例提供的一种边缘引导式红外语义分割模型的训练装置的结构示意图，如图8所示，装置包括：

建立单元801，用于预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型，其中，边缘嵌入模块层包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层包括：若干个依次数据连接的残差网络模块；

训练单元802，用于使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型；

设置单元803，用于在训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型；

返回单元804，用于在训练次数小于设定值的情况下，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回触发训练单元，直至训练次数大于或等于设定值。

在本发明实施例的一种具体实施方式中，所述边缘嵌入模块层，包括：依次数据连接的若干个边缘嵌入模块，若干个边缘嵌入模块中的首个边缘嵌入模块，用于对经过第一卷积层处理后的对应于红外图像的边缘特征图以及处理后的红外图像进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的；

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层；

若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；

除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

在本发明实施例的一种具体实施方式中，所述门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，其中，

每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层；

所述第四卷积层用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；

首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果，并将第一目标点乘结果输出至下一个门机制特征转换子层，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；

门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，用于使用第四卷积层对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果，将上一个门机制特征转换子层输出的目标点乘结果与第二目标点乘结果进行像素求和处理。

在本发明实施例的一种具体实施方式中，所述空洞卷积模块，包括并联的池化层以及若干个空洞卷积层级。

在本发明实施例的一种具体实施方式中，所述第五卷积层与池化层以及各个空洞卷积层数据连接；

所述第五卷积层，用于进行线性上采样，并将采样后的结果作为初始语义分割模型的输出。

在本发明实施例的一种具体实施方式中，所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；

将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；

将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集；

将第一图像集与第二图像集的集合作为样本集训练。

在本发明实施例的一种具体实施方式中，所述训练单元，用于：

将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

在本发明实施例的一种具体实施方式中，所述装置还包括：分割模块，用于利用目标语义分割模型进行待分割图像的语义分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种边缘引导式红外语义分割模型的训练方法，其特征在于，所述方法包括：

1)、预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型，其中，边缘嵌入模块层包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层包括：若干个依次数据连接的残差网络模块；

2)、使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型；

3)、在训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型；

4)、在所述训练次数小于设定值的情况下，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回执行步骤2)，直至所述损失值小于设定值。

2.根据权利要求1所述的一种边缘引导式红外语义分割模型的训练方法，其特征在于，所述边缘嵌入模块层，包括：依次数据连接的若干个边缘嵌入模块，若干个边缘嵌入模块中的首个边缘嵌入模块，用于对经过第一卷积层处理后的对应于红外图像的边缘特征图以及处理后的红外图像进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的；

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层；

若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；

除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

3.根据权利要求2所述的一种边缘引导式红外语义分割模型的训练方法，其特征在于，所述门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，其中，

每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层；

所述第四卷积层用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；

首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果，并将第一目标点乘结果输出至下一个门机制特征转换子层，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；

门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，用于使用第四卷积层对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果，将上一个门机制特征转换子层输出的目标点乘结果与第二目标点乘结果进行像素求和处理。

4.根据权利要求1所述的一种边缘引导式红外语义分割模型的训练方法，其特征在于，所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；

将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；

将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集；

将第一图像集与第二图像集的集合作为样本集训练。

5.根据权利要求4所述的一种边缘引导式红外语义分割模型的训练方法，其特征在于，所述使用预先标记了目标的样本集训练所述初始语义分割模型，包括：

将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

6.一种边缘引导式红外语义分割模型的训练装置，其特征在于，所述装置包括：

建立单元，用于预先建立包括依次数据连接的边缘嵌入模块层、残差网络模块层、空洞卷积模块以及第一卷积层的初始语义分割模型，其中，边缘嵌入模块层包括：若干个依次数据连接的边缘嵌入模块；残差网络模块层包括：若干个依次数据连接的残差网络模块；

训练单元，用于使用预先标记了目标的样本集训练所述初始语义分割模型，得到训练后语义分割模型；

设置单元，用于在所述训练次数大于或等于设定值的情况下，将所述训练后语义分割模型作为目标语义分割模型；

返回单元，用于在所述训练次数小于设定值的情况下，利用交叉熵损失函数计算所述训练后语义分割模型输出的预测结果与对应样本的真值之间的损失值，在损失值大于预设阈值的情况下，利用随机梯度下降算法更新训练后的语义分割模型的模型参数，将更新模型参数后的训练后的语义分割模型作为初始语义分割模型，返回触发训练单元，直至所述损失值大于设定值。

7.根据权利要求6所述的一种边缘引导式红外语义分割模型的训练装置，其特征在于，所述边缘嵌入模块层，包括：依次数据连接的若干个边缘嵌入模块，若干个边缘嵌入模块中的首个边缘嵌入模块，用于对经过第一卷积层处理后的对应于红外图像的边缘特征图以及处理后的红外图像进行处理；若干个边缘嵌入模块中除首个边缘嵌入模块之外的其他边缘嵌入模块，用于对上一个边缘嵌入模块的输出以及边缘特征图进行处理，其中，处理后的红外图像是依次经过第二卷积层以及池化层处理得到的，其中，所述边缘特征图是所述红外图像经过边缘提取网络得到的；

每一个边缘嵌入模块均包含依次数据连接的若干个门机制特征转化层-卷积层对，每一个门机制特征转化层-卷积层对包括：一个门机制特征转化层以及一个第三卷积层；

若干个门机制特征转化层-卷积层对中的首个门机制特征转化层-卷积层对接收处理后的红外图像以及边缘特征图；

除首个门机制特征转化层-卷积层对之外的每一个门机制特征转化层-卷积层对中的门机制特征转化层均接收上一个门机制特征转化层-卷积层对以及经过第一卷积层处理后的对应于红外图像的边缘特征图。

8.根据权利要求7所述的一种边缘引导式红外语义分割模型的训练装置，其特征在于，所述门机制特征转化层，包括：若干个依次串联的门机制特征转化子层，其中，

每一个门机制特征转换子层包括：门机制层以及若干个依次数据连接的第四卷积层；

所述第四卷积层用于接收边缘特征图，并对边缘特征图进行卷积处理，得到卷积结果；

首个门机制特征转换子层将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，并将像素点乘后的结果继续与主干网络的输入进行再次点乘得到第一目标点乘结果，并将第一目标点乘结果输出至下一个门机制特征转换子层，其中，主干网络的输入，包括：上一个门机制特征转化层-卷积层对的输出或者经过第二卷积层处理后的对应于红外图像的边缘特征图；

门机制特征转换子层中除首个门机制转换子层之外的其他门机制转换子层，用于使用第四卷积层对边缘特征图进行卷积处理，将卷积处理结果与经过门机制层处理后的卷积处理结果经过像素点乘，得到第二目标点乘结果，将上一个门机制特征转换子层输出的目标点乘结果与第二目标点乘结果进行像素求和处理。

9.根据权利要求6所述的一种边缘引导式红外语义分割模型的训练装置，其特征在于，所述样本集的构建过程包括：

使用红外相机拍摄各种场景和视角下的红外图像，并对红外图像中的语义类别进行像素级标注，将标注好的红外图像作为第一图像集，其中，语义类别包括：行人、房屋、树、道路、电线杆、草地、门、桌子、椅子、汽车、自行车、灯、显示器、交通锥标、垃圾桶、动物、栅栏、天空、河流、人行道中的一种或组合；

将可见光中包含的语义类别与红外图像中包含的语义类别进行空间位置的配准，将配准后的可见光图像以及红外图像的训练pix2pixHD网络；

将预设的可见光模态的语义分割数据集输入到训练完成的pix2pixHD网络，得到热红外模态图像，将热红外模态图像以及对应的语义类别作为样本，将样本的集合作为第二图像集；

将第一图像集与第二图像集的集合作为样本集训练。

10.根据权利要求9所述的一种边缘引导式红外语义分割模型的训练装置，其特征在于，所述训练单元，用于：

将第一图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型；

或者，先将第二图像集中的样本图像作为输入，对应的真值数据作为标签，训练所述初始语义分割模型，得到训练后的初始语义分割模型；

将所述训练后的初始语义分割模型中的最后一层网络的网络参数设置为预设的初始值，再使用第一图像集训练所述训练后的初始语义分割模型。

Images