CN115376094A - 基于尺度感知神经网络的无人清扫车路面识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于尺度感知神经网络的无人清扫车路面识别方法及系统，涉及目标识别技术领域，该方法包括采集无人清扫车所处环境的路面图像，对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；利用所述训练样本集训练目标识别模型；将待识别的路面图像输入到训练完成的目标识别模型中进行识别。本发明通过构建一种尺度感知卷积神经网络，弥补现有方法忽略目标尺度差异信息的缺点，提高路面识别的性能及识别准确性，提高无人清扫车的清扫效率及清扫效果。

Description

基于尺度感知神经网络的无人清扫车路面识别方法及系统

技术领域

本发明涉及目标识别技术领域，尤其涉及一种基于尺度感知神经网络的无人清扫车路面识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

无人清扫车是汇集自主规划路径、自主避障、自主作业于一体的室外智能无人驾驶环卫清扫设备，能承担大量室外清扫作业，解决了传统人工清扫作业存在的高成本、高风险、低效率等瓶颈问题，在节约人力成本、提高作业效率等方面发挥着重要作用。

然而，目前主流的无人清扫车路面识别方法大多简单照搬常规的图像处理算法，忽略了实际道路状况的复杂程度，尤其忽略了不同目标物体显像的尺度差异。具体来说，由于目标物体距离无人清扫车上的摄像头的距离不一，导致通过该摄像头采集到的图像中远近不同的目标物体以不同的尺度出现，距离较远的目标物体在图像上表示的信息较少，识别难度较大。现有的方法大多只针对于具有一定尺寸或比例的大中型目标物体进行精确识别，而对于尺度较小、可视化特征较弱的小型目标物体，在识别精度上仍难以达到令人满意的效果。

因此，关注小目标区域可以克服现有基于图像的目标识别方法提取目标尺寸单一的局限性，有助于提升无人清扫车路面识别的性能，进而提高无人清扫车的清扫效率。

发明内容

为解决上述现有技术的不足，本发明提供了一种基于尺度感知神经网络的无人清扫车路面识别方法及系统，解决现有的无人清扫车路面识别方法忽略小目标区域特征的问题，通过构建一种尺度感知卷积神经网络，弥补现有方法忽略目标尺度差异信息的缺点，提高路面识别的性能及识别准确性，进而提高无人清扫车的清扫效率及清扫效果。

第一方面，本公开提供了一种基于尺度感知神经网络的无人清扫车路面识别方法，包括：

采集无人清扫车所处环境的路面图像，对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

利用所述训练样本集训练目标识别模型；

将待识别的路面图像输入到训练完成的目标识别模型中进行识别。

进一步的技术方案，所述预处理包括：

依据图像掩码精准定位图像中的小目标区域，复制小目标区域并对该复制的小目标区域进行随机变换操作；

将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的区域。

进一步的技术方案，所述显著性感知注意力模块中引入一个动态的显著性权重系数，对路面图像中不同目标区域图像的掩码进行加权重编码，获得显著性感知注意力图。

进一步的技术方案，所述尺度感知特征学习模块用于多分支细节信息提取和语义特征增强学习，具体包括：

利用多组并行的大小不一的卷积核学习并提取目标区域图像的不同尺度的细节信息；

将提取的细节信息输入到尺度注意力模块，为提取到的不同尺度的细节信息赋予权重，使学习到的细节信息适应于大小不同的目标区域；

将提取的初始目标区域特征输入至语义特征增强学习模块中，对获取的初始目标区域特征进行语义增强，输出最终的目标区域特征。

进一步的技术方案，所述上下文信息提取模块用于提取目标区域图像以外区域的上下文特征。

进一步的技术方案，所述上下文注意力机制信息融合模块用于融合目标区域特征及其上下文特征，具体为：

将获得的目标区域特征图和上下文特征图通过concate方式叠加；

利用通道注意力机制获得特征权重因子；

基于特征权重因子，加权融合得到路面图像的全局特征图。

进一步的技术方案，在目标识别模型的训练过程中，构建损失函数，重复进行反向传播训练；所述目标识别模型以特征一致性损失和自适应交叉熵损失的加权和作为总损失。

第二方面，本公开提供了一种基于尺度感知神经网络的无人清扫车路面识别系统，包括：

图像采集模块，用于采集无人清扫车所处环境的路面图像；

图像预处理模块，用于对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

目标识别模型构建模块，用于构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

目标识别模型训练模块，用于利用所述训练样本集训练目标识别模型；

目标识别模块，用于将待识别的路面图像输入到训练完成的目标识别模型中进行识别。

进一步的技术方案，所述预处理包括：

依据图像掩码精准定位图像中的小目标区域，复制小目标区域并对该复制的小目标区域进行随机变换操作；

将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的区域。

进一步的技术方案，所述上下文注意力机制信息融合模块用于融合目标区域特征及其上下文特征，具体为：

将获得的目标区域特征图和上下文特征图通过concate方式叠加；

利用通道注意力机制获得特征权重因子；

基于特征权重因子，加权融合得到路面图像的全局特征图。

以上一个或多个技术方案存在以下有益效果：

1. 本发明提供了一种基于尺度感知神经网络的无人清扫车路面识别方法及系统，与传统方法相比，该方法在目标检测方面表现出更优的检测性能与检测效果，不同于现有的无人清扫车路面识别方法忽视待检目标间尺度信息差异性，本发明所提出的尺度感知特征增强学习网络，利用不同的特征学习模块相互独立的学习多尺度浅层细节信息和深层语义信息，提升了对于不同尺度目标特征的学习能力，弥补现有方法忽略目标尺度差异信息的缺点，实现对尺度较小、可视化特征较弱的小型目标物体的有效识别与检测，提高了检测精度。

2. 考虑到仅学习目标区域特征信息较为单一，本发明还提取了目标区域相邻的上下文信息并将其与目标区域特征充分融合，为目标识别提供更多有用信息，以此提高路面识别的性能及识别准确性，进而提高无人清扫车的清扫效率及清扫效果。

3. 本发明构建了一种融入类别信息的自适应加权分类损失函数，在训练迭代过程中动态地调整各像素权重，使得对目标识别较为重要的像素能够获得模型重点关注，有助于提升模型对不同尺度目标的识别精度。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例所述方法的整体流程图；

图2为本发明实施例所述系统运行的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供了一种基于尺度感知神经网络的无人清扫车路面识别方法，包括：

采集无人清扫车所处环境的路面图像，对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

利用所述训练样本集训练目标识别模型；

将待识别的路面图像输入到训练完成的目标识别模型中进行识别。

本实施例中，基于尺度感知神经网络实现无人清扫车路面识别方法的具体步骤如下：

步骤S1，采集无人清扫车所处环境的路面图像，对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集。具体的，如图1所示，利用无人清扫车上携带的摄像头采集该车所处环境的路面图像，该路面图像中包含多种目标物体，标记路面图像中各目标物体的位置和类别信息，以标注位置和类别信息的目标区域图像为训练样本，构成训练样本集。

考虑到小目标区域图像样本在整个训练样本集中占比较小，不利于识别模型性能的提升，因此，本实施例对原始数据集（即上述训练样本集）中的小目标区域图像进行数据增广。在本实施例中，采用“复制-粘贴”的数据增广策略：首先依据图像掩码精准定位图像中的小目标区域，复制小目标区域并对该复制的小目标区域进行随机变换操作，具体包括随机缩放、随机旋转等操作；然后将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的区域。为避免增广后的小目标区域的数量过多进而影响识别网络对其他样本的学习，故，在本实施例中，限定增广后同类别目标区域图像样本所占像素不得超过整张图像的15%。

步骤S2，构建目标识别模型。该目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块。

考虑到在路面目标识别任务中，不同类别的待测目标对提升识别精度的贡献不同，为了使目标识别模型能更专注于重要类别对象，本实施例设置了显著性感知注意力模块，在该模块中引入一个动态的显著性权重系数λ _i ，对路面图像中不同目标区域图像的掩码进行加权重编码，获得显著性感知注意力图。具体的，将标注完成的路面图像输入该显著性感知注意力模块，通过两个卷积层提取目标区域图像的目标区域特征T，然后，将获取的目标区域特征T输入到三个卷积层中，计算显著性权重系数λ _i 和偏置项，最后，基于该显著性权重系数λ _i ，对路面图像各像素逐一加权并重新编码，获得路面图像的显著性感知注意力图T _impor 。

上述尺度感知特征学习模块用于多分支细节信息提取和语义特征增强学习，提取目标区域图像的目标区域特征。

将采集的路面图像输入上述尺度感知特征学习模块中，首先，利用多组并行的大小不一的卷积核学习并提取目标区域图像的不同尺度的细节信息。具体的，通过由5个连续卷积层堆叠而成的多分支细节信息提取模块，提取高分辨率的细节信息X _vis 。该多分支细节信息提取模块由7×7、14×14、28×28等5个并行的大小不一的卷积块组成，根据目标尺度的不同，将目标区域图像输入到不同的分支中，用以学习并提取不同尺度的细节信息。

之后，将提取的细节信息输入到尺度注意力网络中，为提取到的不同尺度的细节信息赋予权重，使得学习到的细节信息适应于大小不同的目标区域。具体的，将提取到的细节信息输入到由两个3×3卷积核、ReLU激活函数和一个1×1卷积块组成的小型尺度注意力网络中，通过该网络将提取到的不同尺度的细节信息加权融合，获得目标区域图像融合多尺度细节信息的初始目标区域特征，该初始目标区域特征（即学习到的细节信息）适应于该目标区域图像的尺度。

接着，将提取的初始目标区域特征输入至语义特征增强学习网络中，对获取的初始目标区域特征进行语义增强，输出最终的目标区域特征。具体的，将学习获得的细节信息输入至语义特征增强学习模块中，该语义特征增强学习网络由3个串行的5×5卷积核构成，用于获取图像语义特征，即获取语义特征图Y _sem 。

进一步的，为了使获取的图像语义特征的注意力区域与显著性感知注意力图T _impor 保持一致，本实施例引入了一致性正则化项，使学习到的语义特征图和显著性感知注意力图保持一致，约束深层语义特征聚焦于图像显著区域。

通过上述尺度感知特征学习模块提取目标区域图像的目标区域特征的同时，考虑到小目标区域图像通常只占路面图像的一小部分，而直接从细粒度局部区域获得的信息较为有限，因此，本实施例还设置了上下文信息提取模块，用于提取目标区域图像这些局部区域以外的区域的上下文特征，能够为目标区域检测提供更多有用信息。

所述上下文信息提取模块包含多个并行的大小不一的池化层，对输入的路面图像进行不同尺度的池化，得到目标区域的邻近区域图像的不同尺度的上下文特征，之后，对获得的各尺度特征进行加权融合和空间上采样操作，获得包含目标区域的邻近区域信息的上下文特征，即获取上下文特征图S _context 。

也就是说，所述上下文信息提取模块在注意力机制的精准引导下，通过利用多个连续的池化层，获得目标区域的上下文特征。

在获取目标区域图像的目标区域特征及其上下文特征后，考虑到目标区域特征与其上下文特征并不相同，不能仅通过对两者进行简单叠加实现融合，因此，本实施例中，通过上下文注意力机制信息融合模块融合目标区域特征及其上下文特征。

具体的，所述上下文注意力机制信息融合模块，首先将获得的目标区域特征图和上下文特征图通过concate方式叠加；然后利用通道注意力机制获得特征权重因子θ，即通过一个2层的神经网络对叠加的特征图提取特征后，将提取的特征输入Sigmoid激活函数中，得到特征权重因子θ；最后，基于该特征权重因子，加权融合得到路面图像的全局特征图F _global 。

进一步的，上述加权融合得到路面图像的全局特征图F _global ，公式为：

基于路面图像的全局特征图，获取路面图像中目标区域图像的目标区域特征。

此外，考虑到通过上述方案提取获得的目标区域特征与输入的原始图像尺寸不一致，无法直接输出，因此，本实施例在通过上下文注意力机制信息融合模块获取目标区域特征后，加入解码器，用于对获取的目标区域特征进行上采样，使得输出的预测结果图与原始图像大小一致。进一步的，在本实施例中，所述解码器为采用双线性插值法的解码器。

步骤S3，训练目标识别模型。结合上述步骤1和步骤2，以标注位置和类别信息的目标区域图像为训练样本，构成训练样本集，利用该训练样本集训练目标识别模型。具体的，以包含目标的路面图像作为目标识别模型的输入，输出路面图像中目标的位置和类别信息，实现路面图像中目标的识别。

在目标识别模型的训练过程中，构建相应的损失函数，重复进行反向传播训练。在此过程中，损失值会伴随训练轮次的增多呈现下降趋势，直至训练轮次达到预设值或者损失值呈现平稳趋势，保存其最小损失值时的模型参数，完成目标识别模型的训练。

在本实施例中，目标识别模型以特征一致性损失和自适应的交叉熵损失的加权和作为总损失。

首先，特征一致性损失是上述语义特征增强学习模块在训练过程中的损失，该特征一致性损失loss _cons 为：

其中，f(·)是目标检测网络，y _i 和t _i 分别表示语义特征图Y _sem 和显著性感知注意力图T _impor 的第i个像素。一致性损失值越小表明图像语义特征注意力区域与重要性感知注意力图越相近。

其次，针对数据样本不均衡导致忽略小目标区域特征的问题，本实施例考虑在标准交叉熵损失函数的基础上进行改进，引入一个通过自动学习获得的类别权重系数µ _i ，使得模型在训练时关注到数量较少且较为重要的像素。同时，引入表征稀疏惩罚项ηρ(·)和权重衰减项

，避免模型过拟合。具体而言，计算全局特征图F _global 中各像素的概率最大值所对应的类别，记作σ _i 对像素的预测类别σ _i 与真实标签类别y _l 逐一进行比较，计算加权分类损失：

最后，计算目标识别模型的总损失，即计算目标识别模型总损失loss _total 为自适应加权分类损失loss _ace 和特征一致性损失loss _cons 二者的加权和。具体地，设置一个加权系数β，该系数由多次循环迭代训练得出，用以平衡两部分损失各自所占比重，计算得到网络模型的总损失，即：

通过上述总损失，重复进行反向传播训练。在训练过程中，损失值会伴随训练轮次的增多呈现下降趋势，直至训练轮次达到预设值或者损失值呈现平稳趋势。最后，保存其最小损失值时的目标识别模型作为训练结果，即训练完成的目标识别模型。

步骤S4，将待测试的图像数据输入到训练好的目标识别模型中进行预测，输出结果，完成识别工作。

通过本实施例上述方法，利用不同的特征学习模块相互独立的学习多尺度浅层细节信息和深层语义信息，提升了对于不同尺度目标特征的学习能力，弥补现有方法忽略目标尺度差异信息的缺点，同时，将提取相邻的上下文信息与目标区域特征充分融合，为目标识别提供更多有用信息，最终提高路面识别的性能及识别准确性，进而提高无人清扫车的清扫效率及清扫效果。

实施例二

本实施例提供了一种基于尺度感知神经网络的无人清扫车路面识别系统，包括：

图像采集模块，用于采集无人清扫车所处环境的路面图像；

图像预处理模块，用于对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

目标识别模型构建模块，用于构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

目标识别模型训练模块，用于利用所述训练样本集训练目标识别模型；

目标识别模块，用于将待识别的路面图像输入到训练完成的目标识别模型中进行识别

具体如图2所示，其中，特征提取是利用上述尺度感知特征学习模块和上下文信息提取模块分别提取目标区域特征T和上下文特征S，然后将二者通过上述上下文注意力机制信息融合模块融合，得到全局特征图F _global ，之后进入损失函数计算损失值，根据损失函数来反向传播调节网络参数，使网络达到最佳的状态，最后利用训练好的目标识别模型进行结果的测试，获取路面目标识别结果。

利用车载摄像头采集实时路面图像并传送至识别系统中，自动地进行特征提取、计算损失函数和获取识别结果的过程，最后输出识别结果与用户进行交互。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，包括：

采集无人清扫车所处环境的路面图像，对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

利用所述训练样本集训练目标识别模型；

将待识别的路面图像输入到训练完成的目标识别模型中进行识别。

2.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，所述预处理包括：

依据图像掩码精准定位图像中的小目标区域，复制小目标区域并对该复制的小目标区域进行随机变换操作；

将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的区域。

3.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，所述显著性感知注意力模块中引入一个动态的显著性权重系数，对路面图像中不同目标区域图像的掩码进行加权重编码，获得显著性感知注意力图。

4.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，所述尺度感知特征学习模块用于多分支细节信息提取和语义特征增强学习，具体包括：

利用多组并行的大小不一的卷积核学习并提取目标区域图像的不同尺度的细节信息；

将提取的细节信息输入到尺度注意力模块，为提取到的不同尺度的细节信息赋予权重，使学习到的细节信息适应于大小不同的目标区域；

将提取的初始目标区域特征输入至语义特征增强学习模块中，对获取的初始目标区域特征进行语义增强，输出最终的目标区域特征。

5.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，所述上下文信息提取模块用于提取目标区域图像以外区域的上下文特征。

6.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，所述上下文注意力机制信息融合模块用于融合目标区域特征及其上下文特征，具体为：

将获得的目标区域特征图和上下文特征图通过concate方式叠加；

利用通道注意力机制获得特征权重因子；

基于特征权重因子，加权融合得到路面图像的全局特征图。

7.如权利要求1所述的基于尺度感知神经网络的无人清扫车路面识别方法，其特征是，在目标识别模型的训练过程中，构建损失函数，重复进行反向传播训练；所述目标识别模型以特征一致性损失和自适应交叉熵损失的加权和作为总损失。

8.一种基于尺度感知神经网络的无人清扫车路面识别系统，其特征是，包括：

图像采集模块，用于采集无人清扫车所处环境的路面图像；

图像预处理模块，用于对图像进行预处理，获取以标注位置和类别信息的目标区域图像为训练样本的训练样本集；

目标识别模型构建模块，用于构建目标识别模型，所述目标识别模型包括显著性感知注意力模块、尺度感知特征学习模块、上下文信息提取模块和上下文注意力机制信息融合模块；

目标识别模型训练模块，用于利用所述训练样本集训练目标识别模型；

目标识别模块，用于将待识别的路面图像输入到训练完成的目标识别模型中进行识别。

9.如权利要求8所述的基于尺度感知神经网络的无人清扫车路面识别系统，其特征是，所述预处理包括：

依据图像掩码精准定位图像中的小目标区域，复制小目标区域并对该复制的小目标区域进行随机变换操作；

将随机变换操作后的小目标区域随机粘贴到与该目标区域邻近且不遮挡其他样本的区域。

10.如权利要求8所述的基于尺度感知神经网络的无人清扫车路面识别系统，其特征是，所述上下文注意力机制信息融合模块用于融合目标区域特征及其上下文特征，具体为：

将获得的目标区域特征图和上下文特征图通过concate方式叠加；

利用通道注意力机制获得特征权重因子；

基于特征权重因子，加权融合得到路面图像的全局特征图。

Images