CN111582280A - 一种面向多光谱救援机器人的数据深层融合图像分割方法 - Google Patents

Abstract

本发明提出一种面向多光谱救援机器人的数据深层融合图像分割方法,目的是进一步提高救援机器人图像语义分割的精度，提高救援机器人在灾难现场排查和分析的准确性，并能脱离人为指挥和控制，进行自主探测工作。方法包括以下步骤：生成目标分割训练数据集；构建识别单光谱单目标图像分割的U型网络；建立针对图像语义分割的证据理论‑贝叶斯二阶段决策融合模型；训练获得多光谱数据融合的语义分割模型。本发明利用针对图像语义分割的证据理论‑贝叶斯二阶段决策融合模型在精确率、召回率、准确率等方面都有明显提升，机器人可以在复杂的救灾环境中自主检查灾难现场，提高检测准确性和效率，降低人工成本，缩短救灾时间，减少伤亡。

Description

一种面向多光谱救援机器人的数据深层融合图像分割方法

技术领域

本发明涉及一种图像分割方法，特别涉及一种面向多光谱救援机器人的数据深层融合图像分割方法。

背景技术

当今世界各地地震、泥石流、海啸等自然灾害频繁发生，灾难现场建筑结构坍塌，导致地形环境发生巨大变化，空间狭小不稳定，严重威胁着人类安全，许多遇难者因得不到及时的救援而失去宝贵的生命，因此救援人员如何快速高效的开展救援工作关系着被困人员的生命安全。随着科学技术在不断进步，开始使用救援机器人进入一些危险复杂的灾难现场实施救援，解决了传统救援搜救时间紧张、灾害现场幸存者和救援人员生命安全不能保障等问题。救援机器人是可以自主移动的智能机器人，能代替人员对危险复杂的灾难现场进行勘察、检测、处理突发事件等活动，提高了救援效率，减少了人员伤亡。在救援时救援机器人会把现场实际信息反馈给指挥中心，使其以最快速度了解灾难现场具体情况，进行合理判断，并更好的实施救援安排，降低损失。

但传统的救援机器人通常需要技术人员在指挥中心操作机器的运转和现场破坏程度的检查，这些情况会导致救援行动充满不确定性，或者造成二次伤亡等。此外，由于救灾现场的复杂性，普通相机很难获得清晰的图像，而红外摄像头可以提供与可见光强度无关的稳定多光谱图像。所以，多光谱救灾机器人有很强的研究价值。

救援机器人进行工作时，要进入火灾、地震等救援现场，环境具有不确定和复杂性。为了使机器人能够更好的理解周围的场景,对环境的语义感知至关重要。利用图像语义分割技术，可以提高救援机器人在复杂场景中对物体的辨识和定位能力。由于传统语义分割方法在非结构化、目标多样化、形状不规则化以及光照变化、物体遮挡等复杂环境下的场景理解能力差，工作效率低，在火灾、爆炸、地震等高危救灾现场，为了精准高效的进行现场排查，减轻救援人员的工作压力，图像语义分割的精度仍有待进一步提升。

发明内容

与单一图像分割模型相比，运用数据深层融合图像分割方法在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度。为了进一步提高救援机器人图像语义分割的精度，提高救援机器人在灾难现场排查和分析的准确性，并能脱离人为指挥和控制，进行自主探测工作，本发明提出一种面向多光谱救援机器人的数据深层融合图像分割方法,包括以下步骤：

步骤一、生成目标分割训练数据集：

(1)信息采集：救援机器人主要利用自身所携带的摄像头对于外界环境数据信息进行收集，对于收集到的地理位置以及环境状态信息，转换成多光谱图像数据进行保存；

(2)人工标注数据集：为了进行神经网络的训练，在进行数据采集后，对多光谱图像逐像素点手动标注标签，每个标签表示当前像素点所属的物体类别；

步骤二、构建识别单光谱单目标图像分割的U型网络：

为了获取多光谱图像数据中特定目标的信息，采用U型网络进行单光谱单目标图像分割，其中U型网络的数目为k*m，其中k表示多光谱图像光谱的数目，m表示需要识别的特定目标数；

由于U型网络包含很多层，训练过程中会出现学习速度慢、学习效果过分依赖于初始数据分布以及梯度消失问题；为此，采用批量归一化来控制和提高U型网络训练过程中的学习速度和学习效果，其公式为：

其中：m表示batch_size,μ_B表示均值，

表示偏方差，ε为常量；

步骤三、建立针对图像语义分割的证据理论-贝叶斯二阶段决策融合模型：

第一阶段融合，步骤二针对一个特定目标来训练模型i，该模型为单独的模型；采用传统证据理论方法输入所有k个光谱O₁,O₂,…,O_k的像素标签预测值，输出模型i融合预测值F_i：

F_i＝DSFusion(O₁,O₂,…,O_k)

针对多光谱数据，每个光谱是一个独立的数据源，单独进行语义分割，对多光谱输出采用证据理论方法进行融合；由于传统证据理论只能进行二路融合，k路需要做k-1次获得结果；

第二阶段融合，对多个模型输出结果进行融合；设共有m个模型，则第一阶段输出的m个结果，采用朴素贝叶斯网络进行融合，获得最终输出标签X：

X＝BayFusion(F₁,F₂,…,F_m)

贝叶斯网络结构和权重为预设值；

步骤四、训练获得多光谱数据融合的语义分割模型：

在整个网络架构好之后，对第一步得到的数据集进行训练；通过救援机器人的摄像头获取多光谱图像作为输入，图像像素级分类作为输出，进行端到端的训练。

本发明的有益效果：

本发明侧重点在针对于救援机器人的多光谱图像，通过基于深度学习的单光谱图像分割与决策融合模型方法有机融合在一起，输出多光谱救援机器人的语义分割结果。其优势在于：

1、深度神经网络能依据视频信号有效分辨机器人所处场景，利用深度学习方法进行场景识别有以下优势：首先，CNN可以从输入图像中自动提取包含更多语义和结构信息的特征，且经过网络结构中的非线性变换后变得更具有判别力；其次，深度层次结构能更好解释场景中的空间分布。

2、对小规模数据集进行预测时，使用传统单一图像分割模型检测效果不能达到预期准确率，且无法兼顾多项评价指标；相对于单一模型，利用针对图像语义分割的证据理论-贝叶斯二阶段决策融合模型在精确率、召回率、准确率等方面都有明显提升。

3、整体上能实现端到端，在标注数据充足的环境下，不需要人工干预，也能学到满意效果；机器人可以在复杂的救灾环境中自主检查灾难现场，提高检测准确性和效率，降低人工成本，缩短救灾时间，减少伤亡。

附图说明

图1为本发明面向多光谱救援机器人的数据深层融合图像分割示意图。

具体实施方式

本发明提出的一种面向多光谱救援机器人的数据深层融合图像分割方法,包括以下步骤：

步骤一、生成目标分割训练数据集：

(1)信息采集：救援机器人主要利用自身所携带的摄像头对于外界环境数据信息进行收集，对于收集到的地理位置以及环境状态信息，转换成多光谱图像数据进行保存；

(2)人工标注数据集：为了进行神经网络的训练，在进行数据采集后，对多光谱图像逐像素点手动标注标签，每个标签表示当前像素点所属的物体类别；所述的物体类别包括站立人体、躺卧人体、常见易燃品、常见易爆品、放射性装置、构筑物、落石或灾害现场常见物体。

步骤二、构建识别单光谱单目标图像分割的U型网络：

为了获取多光谱图像数据中特定目标的信息，采用U型网络进行单光谱单目标图像分割，其中U型网络的数目为k*m，其中k表示多光谱图像光谱的数目，m表示需要识别的特定目标数；

所述的U型网络是一种轻量级的全卷积神经网络，其结构简单，参数量小，适用于小数据集和二分类的使用场景。U型网络由编码器和解码器两部分组成，每个阶段都通过编码器和解码器之间的跳跃连接，将各阶段编码器与解码器生成的特征图在对应位置进行叠加，并利用卷积操作融合图像的浅层特征与深层特征。U型网络共包括23个卷积层、4个最大池化层即下采样和4个反卷积层即上采样。其中，编码器遵循典型的卷积网络结构，在每两个3×3的卷积层后，放置一个2×2最大池化层，其步长为2；使用ReLU作为激活函数，每经过一次下采样操作，特征通道数量加倍，所述的ReLU公式为：

f(x)＝max(0,x)

解码器利用2×2的卷积核对特征图谱进行上采样，使特征通道数减半，将上采样后的特征图谱与来自收缩路径的特征图谱相结合，然后利用2次3×3的卷积进行卷积运算，并同样使用ReLU作为激活函数；最后，利用1×1的卷积核将每一个64维的特征向量映射到网络的输出层，并利用sigmoid函数对输出层进行处理最终转化为类别数量为2的结果，分别为“目标”和“背景”；

此外，由于U型网络包含很多层，训练过程中会出现学习速度慢、学习效果过分依赖于初始数据分布以及梯度消失问题；为此，采用批量归一化来控制和提高U型网络训练过程中的学习速度和学习效果，其公式为：

其中：m表示batch_size,μ_B表示均值，

表示偏方差，ε为常量；

步骤三、建立针对图像语义分割的证据理论-贝叶斯二阶段决策融合模型：

传统的决策融合可以理解为一阶段融合,这里提出二阶段决策融合方法，用于图像语义分割。

第一阶段融合，步骤二针对一个特定目标来训练模型i，比如专门识别人体的模型、专门识别氧气瓶的模型、专门识别煤气罐的模型、专门识别构筑物的模型、专门识别树木的模型等，这些都是某一物体类别单独的模型。采用传统证据理论方法输入所有k个光谱O₁,O₂,…,O_k的像素标签预测值，输出模型i融合预测值F_i：

F_i＝DSFusion(O₁,O₂,…,O_k)

针对多光谱数据，每个光谱是一个独立的数据源，单独进行语义分割，对多光谱输出采用证据理论方法进行融合；由于传统证据理论只能进行二路融合，k路需要做k-1次获得结果；

第二阶段融合，对多个模型输出结果进行融合；设共有m个模型，则第一阶段输出的m个结果，采用朴素贝叶斯网络进行融合，获得最终输出标签X：

X＝BayFusion(F₁,F₂,…,F_m)

贝叶斯网络结构和权重为预设值；该预设值可以是经验值，体现领域专家知识；也可以在数据充分的情况下，用机器学习方法构建贝叶斯网络。

步骤四、训练获得多光谱数据融合的语义分割模型：

在整个网络架构好之后，对第一步得到的数据集进行训练；通过救援机器人的摄像头获取多光谱图像作为输入，图像像素级分类作为输出，进行端到端的训练，最后得到高精度的图像分割方法；当前的结构模型用子网络实现信息的分化与融合,不仅对神经网络的结构设计有一定意义,而且从理论到实例说明了该方法确能改善图像分割网络的精度。

Claims (4)

1.一种面向多光谱救援机器人的数据深层融合图像分割方法，其特征在于：包括以下步骤：

步骤一、生成目标分割训练数据集：

(1)信息采集：救援机器人对于外界环境数据信息进行收集，收集到的信息转换成多光谱图像数据进行保存；

(2)人工标注数据集：为了进行神经网络的训练，在进行信息采集后，对多光谱图像逐像素点手动标注标签，每个标签表示当前像素点所属的物体类别；

步骤二、构建识别单光谱单目标图像分割的U型网络：

为了获取多光谱图像数据中特定目标的信息，采用U型网络进行单光谱单目标图像分割，其中U型网络的数目为k*m，其中k表示多光谱图像光谱的数目，m表示需要识别的特定目标数；

步骤三、建立针对图像语义分割的证据理论-贝叶斯二阶段决策融合模型：

所述的二阶段决策融合包括：

第一阶段融合，步骤二针对一个特定目标来训练模型i，该模型为单独的模型；采用传统证据理论方法输入所有k个光谱O₁，O₂，...，O_k的像素标签预测值，输出模型i融合预测值F_i：

F_i＝DSFusion(O₁，O₂，...，O_k)

第二阶段融合，对多个模型输出结果进行融合；设共有m个模型，则第一阶段输出的m个结果，采用朴素贝叶斯网络进行融合，获得最终输出标签X：

X＝BayFusion(F₁，F₂，...，F_m)

贝叶斯网络结构和权重为预设值；

步骤四、训练获得多光谱数据融合的语义分割模型：

在整个网络架构好之后，对步骤一得到的数据集进行训练；通过救援机器人的摄像头获取多光谱图像作为输入，图像像素级分类作为输出，进行端到端的训练，最后得到高精度的图像分割方法。

2.根据权利要求1所述的一种面向多光谱救援机器人的数据深层融合图像分割方法，其特征在于：步骤一所述的信息采集是利用救援机器人自身所携带的摄像头来完成，收集的环境数据信息包括地理位置信息、环境状态信息；所述的物体类别包括站立人体、躺卧人体、常见易燃品、常见易爆品、放射性装置、构筑物、落石或灾害现场常见物体。

3.根据权利要求1所述的一种面向多光谱救援机器人的数据深层融合图像分割方法，其特征在于：步骤二所述的U型网络是一种轻量级的全卷积神经网络，由编码器和解码器两部分组成，每个阶段都通过编码器和解码器之间的跳跃连接，将各阶段编码器与解码器生成的特征图在对应位置进行叠加，并利用卷积操作融合图像的浅层特征与深层特征；U型网络共包括23个卷积层、4个最大池化层即下采样和4个反卷积层即上采样，其中，编码器遵循典型的卷积网络结构，在每两个3×3的卷积层后，放置一个2×2最大池化层，其步长为2；使用ReLU作为激活函数，每经过一次下采样操作，特征通道数量加倍，所述的ReLU公式为：

f(x)＝max(0，x)

解码器利用2×2的卷积核对特征图谱进行上采样，使特征通道数减半，将上采样后的特征图谱与来自收缩路径的特征图谱相结合，然后利用2次3×3的卷积进行卷积运算，并同样使用ReLU作为激活函数；最后，利用1×1的卷积核将每一个64维的特征向量映射到网络的输出层，并利用sigmoid函数对输出层进行处理最终转化为类别数量为2的结果，分别为“目标”和“背景”。

4.根据权利要求3所述的一种面向多光谱救援机器人的数据深层融合图像分割方法，其特征在于：由于U型网络包含很多层，为此，步骤二采用批量归一化来控制和提高U型网络训练过程中的学习速度和学习效果，其公式为：

式中：m表示batch_size，μ_B表示均值，

表示偏方差，ε为常量。

Images