CN117829731A - 基于rfid和ai视觉的军事装备仓储管理方法及系统 - Google Patents

Abstract

本申请提供一种基于RFID和AI视觉的军事装备仓储管理方法及系统，该方法包括：基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备的装备关联信息；基于任意两个军事装备之间的装备关联信息，对军事装备仓储中的所有军事装备进行管理。本申请提高了军事装备仓储的管理效率和准确性。

Description

基于RFID和AI视觉的军事装备仓储管理方法及系统

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于RFID和AI视觉的军事装备仓储管理方法及系统。

背景技术

目前在军事装备仓储管理过程中，主要是手动管理方法，即人工进行装备仓储的管理，包括装备入库、出库、盘点等工作。手动管理方法主要依赖人力操作。由于，人工操作容易出错，造成误差，且手动管理方法工作效率低下，耗费时间和人力成本较高，对于大规模的装备仓储管理难以胜任。

发明内容

针对现有技术存在的问题，本申请提供一种基于RFID和AI视觉的军事装备仓储管理方法及系统，旨在提高军事装备仓储的管理效率和准确性。

第一方面，本申请提供一种基于RFID和AI视觉的军事装备仓储管理方法，包括：

基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

第二方面，本申请还提供一种基于RFID和AI视觉的军事装备仓储管理系统，包括：

RFID标签读取模块，用于基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

AI视觉识别识别模块，用于基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

确定模块，用于根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

建立模块，用于基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

仓储管理模块，用于基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面任一种所述的基于RFID和AI视觉的军事装备仓储管理方法。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一种所述的基于RFID和AI视觉的军事装备仓储管理方法。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一种所述的基于RFID和AI视觉的军事装备仓储管理方法。

本申请实施例根据RFID设备读取出的装备名称信息，以及AI视觉识别出的装备形状信息，建立任意两个军事装备的装备关联信息，从而根据任意两个军事装备之间的装备关联信息对军事装备仓储中的所有军事装备进行管理，提高了军事装备仓储的管理效率和准确性。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的基于RFID和AI视觉的军事装备仓储管理方法的流程示意图；

图2是本申请提供的基于RFID和AI视觉的军事装备仓储管理系统的结构示意图；

图3是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请提供的基于RFID和AI视觉的军事装备仓储管理方法的流程示意图，如图1所示，本申请实施例提供的基于RFID和AI视觉的军事装备仓储管理方法的实施步骤如下：

步骤101，基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

步骤102，基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

步骤103，根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

步骤104，基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

步骤105，基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

具体地，每个军事装备上都有RFID标签，因此，通过RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息。进一步地，通过AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息。

进一步地，根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值。

在一实施例中，根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值，包括：

获取任意两个军事装备的装备名称信息中相同词语的数量，并基于所述数量确定任意两个军事装备的名称相似度值；

根据任意两个军事装备的装备形状信息获取任意两个军事装备的形状轮廓；

根据任意两个军事装备的形状轮廓的重合程度，确定任意两个军事装备的形状相似度值。

具体地，获取任意两个军事装备的装备名称信息中相同词语的数量，并根据任意两个军事装备的装备名称信息确定任意两个军事装备的装备名称长度平均值。在一实施例中，军事装备的装备1名称为XXXXXXXXX，军事装备的装备1名称为YYYYYYY，军事装备的装备1和军事装备的装备2的装备名称长度平均值为8。进一步地，将任意两个军事装备的装备名称信息中相同词语的数量，除以任意两个军事装备的装备名称长度平均值，得到任意两个军事装备的名称相似度值。

进一步地，根据任意两个军事装备的装备形状信息获取任意两个军事装备的形状轮廓，并将任意两个军事装备的形状轮廓的重合程度，确定任意两个军事装备的形状相似度值。在一实施例中，任意两个军事装备的形状轮廓的重合程度为10％，确定任意两个军事装备的形状相似度值为0.1，任意两个军事装备的形状轮廓的重合程度为25％，确定任意两个军事装备的形状相似度值为0.25，任意两个军事装备的形状轮廓的重合程度为50％，确定任意两个军事装备的形状相似度值为0.5，任意两个军事装备的形状轮廓的重合程度为85％，确定任意两个军事装备的形状相似度值为0.85。

进一步地，根据任意两个军事装备之间的装备关联信息，对军事装备仓储中的所有军事装备进行管理。

在一实施例中，基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息，包括：

若任意两个军事装备的名称相似度值大于等于第一相似度阈值，则建立任意两个军事装备之间的名称链关联关系；或，

若任意两个军事装备的形状相似度值大于等于第二相似度阈值，则建立任意两个军事装备之间的形状链关联关系；或，

若任意两个军事装备的名称相似度值大于等于所述第一相似度阈值，且，任意两个军事装备的形状相似度值大于等于所述第二相似度阈值，则建立任意两个军事装备之间的名称链关联关系和形状链关联关系。

具体地，若任意两个军事装备的名称相似度值大于等于第一相似度阈值，则建立任意两个军事装备之间的名称链关联关系；若任意两个军事装备的形状相似度值大于等于第二相似度阈值，则建立任意两个军事装备之间的形状链关联关系；若任意两个军事装备的名称相似度值大于等于所述第一相似度阈值，且，任意两个军事装备的形状相似度值大于等于所述第二相似度阈值，则建立任意两个军事装备之间的名称链关联关系和形状链关联关系。

本申请实施例根据RFID设备读取出的装备名称信息，以及AI视觉识别出的装备形状信息，建立任意两个军事装备的装备关联信息，从而根据任意两个军事装备之间的装备关联信息对军事装备仓储中的所有军事装备进行管理，提高了军事装备仓储的管理效率和准确性。

在一实施例中，基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息，包括：

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的初始装备图像；

将每个军事装备的初始装备图像输入至光谱卷积神经网络和空间卷积神经网络中，分别得到所述光谱卷积神经网络输出的光谱特征图以及所述空间卷积神经网络输出的空间特征图；所述光谱卷积神经网络和所述空间卷积神经网络中包括三维卷积层和残差层；

基于每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像；

对每个军事装备的目标装备图像进行轮廓识别，得到每个军事装备的装备形状信息。

其中，初始装备图像为具备光谱特征和空间特征的信息载体。可选的，每个军事装备的初始装备图像为高光谱图像。

光谱特征指的是初始装备图像在各个波段上的光谱信息，用于获取每个军事装备的初始装备图像中的不同识别目标。

三维卷积层用于提取初始装备图像中的光谱特征和空间特征。其中，三维卷积层包括第一三维卷积层、第二三维卷积层，均用于提取初始装备图像中的光谱特征。残差块用于增强光谱卷积神经网络和空间卷积神经网络的表达能力，能够有效地避免了梯度消失和爆炸，并解决了卷积神经网络的退化问题。其中，残差层用于增强光谱卷积神经网络的表达能力。可选的，第一三维卷积层、第二三维卷积层和残每个军事装备的再差层的数量不限。

具体地，基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的初始装备图像，并将每个军事装备的初始装备图像输入至光谱卷积神经网络和空间卷积神经网络中，分别得到光谱卷积神经网络输出的光谱特征图以及空间卷积神经网络输出的空间特征图；光谱卷积神经网络和空间卷积神经网络中包括三维卷积层和残差层。

进一步地，根据每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像；

进一步地，对每个军事装备的目标装备图像进行轮廓识别，得到每个军事装备的装备形状信息。

在一实施例中，光谱卷积神经网络包括第一三维卷积层、第二三维卷积层和残差层；

将每个军事装备的初始装备图像输入至光谱卷积神经网络中，得到所述光谱卷积神经网络输出的光谱特征图，包括：

将每个军事装备的初始装备图像输入至所述第一三维卷积层中，对初始装备图像的光谱维度进行降维处理，得到第一特征图；

将所述第一特征图输入至所述残差层中，对所述第一特征图的图像块进行光谱特征提取，得到第二特征图；

根据所述第一特征图和所述第二特征图，确定目标特征图；

将所述目标特征图输入至所述第二三维卷积层中，对所述目标特征图的图像块进行光谱特征提取，得到每个军事装备的光谱特征图。

在获取初始装备图像之后，可先采用主成分分析算法，减少每个军事装备的初始装备图像的通道数量(如从c减少到b，c＞b＞0)，并以每个像素为中心提取图像块，其中，每个图像块的真实标签为中心像素的标签，所有图像块为固定大小的高光谱图像立方体；再将每个军事装备的初始装备图像的图像块输入至光谱卷积神经网络中，通过每个军事装备的光谱卷积神经网络采用第一三维卷积层、第二三维卷积层和残差层，对每个军事装备的初始装备图像的图像块进行光谱特征处理，得到准确性较高的局部光谱信息，即光谱特征图，为后续的图像分类提供有力的数据支持。

其中，主成分分析算法是一种广泛使用的数据降维算法，也是一种无监督学习方法，利用正交变换把线性相关变量表示的观测数据(如初始装备图像)转换为几个由线性无关变量表示的数据，线性无关的变量成为主成分。主成分的个数(如初始装备图像的通道数量)通常小于原始变量的个数，属于降维方法。

具体地，采用光谱卷积神经网络对每个军事装备的初始装备图像进行光谱特征处理的过程中，通过光谱卷积神经网络，先采用第一三维卷积层，对初始装备图像的光谱维度进行降维处理，简化该初始装备图像的光谱复杂性，提高该初始装备图像的压缩、解析和分析能力，以得到准确性较高的第一特征图；再采用残差层，对第一特征图的图像块进行光谱特征提取，得到第二特征图；然后，将该第一特征图与该第二特征图相加，得到目标特征图；最后，采用第二三维卷积层，对该目标特征图的图像块进行光谱特征提取，得到准确性较高的光谱特征图。在一实施例中，残差层包括第三三维卷积层、批量归一化层和修正线性单元激活层。因此，将第一特征图输入至残差层中，对第一特征图的图像块进行光谱特征提取，得到第二特征图，包括：

将所述第一特征图输入至所述第三三维卷积层中，对所述第一特征图的图像块进行光谱特征提取，得到第一子特征图；

将所述第一子特征图输入至所述批量归一化层中，对所述第一子特征图进行归一化处理，得到第二子特征图；

将所述第二子特征图输入至所述修正线性单元激活层中，对所述第二子特征图进行非线性变换，得到所述第二特征图。

具体地，采用残差层确定第二特征图的过程中，可先采用第三三维卷积层，对第一特征图的图像块进行光谱特征提取，得到准确性较高的第一子特征图；再采用批量归一化层，对该第一子特征图进行归一化处理，将该第一子特征图的分布进行规范化，得到第二子特征图；进而采用修正线性单元激活层，对该第二子特征图进行非线性变换，使得残差层具有更强的表达能力和更好的泛化性能，得到准确性较高的第二特征图。

在一些实施例中，在残差层的数量为多个的情况下，多个残差层级联；采用残差层，对第一特征图的图像块进行光谱特征提取，得到第二特征图，可以包括：采用首个残差层，对第一特征图的图像块进行光谱特征提取，得到第五特征图；针对其它残差层均执行以下操作：将前一残差层输出的第五特征图作为其它残差层的输入，并得到其它残差层输出的第六特征图；将最后一个残差层输出的第六特征图，确定为第二特征图。

在采用多个级联的残差层确定第二特征图的过程中，可先采用首个残差层，对第一特征图的图像块进行光谱特征提取，得到准确性较高的第五特征图；针对多个残差层中除该首个残差层以外的其它残差层，可先确定其它残差层的前一残差层，再将该前一残差层输出的第五特征图作为该其它残差层的输入，并得到该其它残差层输出的第六特征图；接着，确定最后一个残差层输出的第六特征图，并将最后一个残差层输出的第六特征图，确定为初始装备图像对应的第二特征图。

光谱卷积神经网络可以包括：一个第一三维卷积层、一个第二三维卷积层和三个残差层；各残差层可以包括：两个第四三维卷积层、一个批量归一化层和一个修正线性单元激活层。

其中，第一三维卷积层为核大小为1×1×7，步长为2的三维卷积。

第二三维卷积层为核大小为1×1×(b-7)/2+1的三维卷积。

各第四三维卷积层为核大小为1×1×7的三维卷积。

在确定初始装备图像的图像块之后，可将每个军事装备的图像块输入至光谱卷积神经网络中，通过每个军事装备的光谱卷积神经网络对每个军事装备的图像块进行光谱特征处理，得到光谱特征图。

空间特征指的是初始装备图像上表现出的空间位置、距离、形态、大小、纹理等信息，用于获取每个军事装备的初始装备图像中的不同识别目标。第三三维卷积层用于提取初始装备图像中的空间特征。

在获取初始装备图像的图像块之后，可将每个军事装备的初始装备图像的图像块输入至空间卷积神经网络中，通过每个军事装备的空间卷积神经网络采用第三三维卷积层和残差层，对每个军事装备的初始装备图像的图像块进行空间特征处理，得到准确性较高的局部空间信息，即空间特征图，为后续的图像分类提供有力的数据支持。

在一些实施例中，采用第三三维卷积层和残差层，对初始装备图像的图像块进行空间特征处理，得到空间特征图，可以包括：采用第三三维卷积层，对初始装备图像的空间维度进行降维处理，得到第三特征图；每个军事装备的采用残差层，对第三特征图的图像块进行空间特征提取，得到第四特征图；每个军事装备的根据第三特征图和第四特征图，确定空间特征图。

在采用空间卷积神经网络对初始装备图像的图像块进行空间特征处理的过程中，通过空间卷积神经网络，先采用第三三维卷积层，对初始装备图像的空间维度进行降维处理，简化每个军事装备的初始装备图像的空间复杂性，提高每个军事装备的初始装备图像的压缩、解析和分析能力，以得到准确性较高的第三特征图；再采用残差层，对第三特征图的图像块进行空间特征提取，得到第四特征图；最后，将每个军事装备的第三特征和每个军事装备的第二特征图相加，得到准确性较高的空间特征图。

可选的，残差层包括三维卷积层、批量归一化层和修正线性单元激活层；采用残差层，对第三特征图的图像块进行空间特征提取，得到第四特征图，可以包括：采用三维卷积层，对第三特征图的图像块进行空间特征提取，得到第三子特征图；每个军事装备的采用批量归一化层，对第三子特征图进行归一化处理，得到第四子特征图；每个军事装备的采用修正线性单元激活层，对第四子特征图进行非线性变换，得到第四特征图。

在采用残差层确定第四特征图的过程中，可先采用三维卷积层，对第三特征图的图像块进行空间特征提取，得到准确性较高的第三子特征图；再采用批量归一化层，对每个军事装备的第三子特征图进行归一化处理，将每个军事装备的第三子特征图的分布进行规范化，得到第四子特征图；进而采用修正线性单元激活层，对每个军事装备的第四子特征图进行非线性变换，使得残差层具有更强的表达能力和更好的泛化性能，得到准确性较高的第四特征图。

在残差层的数量为多个的情况下，多个残差层级联；采用残差层，对第三特征图的图像块进行空间特征提取，得到空间特征图，可以包括：采用首个残差层，对第三特征图的图像块进行空间特征提取，得到第七特征图；针对其它残差层均执行以下操作：将前一残差层输出的第七特征图作为其它残差层的输入，并得到其它残差层输出的第八特征图；将最后一个残差层输出的第八特征图，确定为空间特征图。

在采用多个级联的残差层确定第二特征图的过程中，可先采用首个残差层，对第三特征图的图像块进行空间特征提取，得到准确性较高的第七特征图；针对多个残差层中除每个军事装备的首个残差层以外的其它残差层，每个军事装备的可先确定其它残差层的前一残差层，再将每个军事装备的前一残差层输出的第七特征图作为每个军事装备的其它残差层的输入，并得到每个军事装备的其它残差层输出的第八特征图；接着，每个军事装备的确定最后一个残差块输出的第八特征图，并将每个军事装备的最后一个残差层输出的第八特征图，确定为每个军事装备的初始装备图像对应的空间特征图。

空间卷积神经网络可以包括：一个第三三维卷积层和三个残差层；各残差层可以包括：两个三维卷积层、一个批量归一化层和一个修正线性单元激活层。

其中，第三三维卷积层为核大小为1×1×b的三维卷积。

各三维卷积层为核大小为3×3×1的三维卷积。

确定初始装备图像的图像块之后，可将每个军事装备的图像块输入至空间卷积神经网络中，通过每个军事装备的空间卷积神经网络对每个军事装备的图像块进行空间特征处理，得到空间特征图。

需要说明的是，确定光谱特征图与每个军事装备的确定空间特征图的时序不限。

在一实施例中，基于每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像，包括：

对每个军事装备的光谱特征图进行光谱信息增强以及对每个军事装备的空间特征图进行空间信息增强，得到每个军事装备的目标光谱特征图和目标空间特征图；

将每个军事装备的目标光谱特征图和目标空间特征图进行融合，得到每个军事装备的目标融合特征图；

对每个军事装备的目标融合特征图进行分类，得到每个军事装备的目标装备图像。

其中，目标装备图像用于表征初始装备图像中识别目标的类型。

具体地，在每个军事装备的确定光谱特征图和空间特征图之后，可将每个军事装备的光谱特征图进行光谱信息增强，提高每个军事装备的光谱特征图的质量和分类性能，得到准确性较高的目标光谱特征图，并将每个军事装备的空间特征图进行空间信息增强，提高每个军事装备的空间特征图的质量和分类性能，得到准确性较高的目标空间特征图；再充分利用光谱特征和空间特征的信息，将每个军事装备的目标光谱特征图和每个军事装备的目标空间特征图进行融合，得到目标融合特征图，进而对每个军事装备的目标融合特征图进行分类，得到目标装备图像，以实现初始装备图像的自动识别和分类。

需要说明的是，确定目标光谱特征图与每个军事装备的确定目标空间特征图的时序不限。

在一实施例中，对每个军事装备的光谱特征图进行光谱信息增强以及对每个军事装备的空间特征图进行空间信息增强，得到每个军事装备的目标光谱特征图和目标空间特征图，包括：

采用全局多尺度注意力网络，将每个军事装备的光谱特征图和空间特征图进行融合，得到每个军事装备的第一融合特征图；

采用多尺度注意力模块，对每个军事装备的第一融合特征图进行条状池化操作和卷积操作，得到每个军事装备的第二融合特征图；

根据每个军事装备的光谱特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标光谱特征图；

根据每个军事装备的空间特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标空间特征图。

其中，全局多尺度注意力网络能够突出重要信息，抑制不重要信息，提高了光谱特征和空间特征的表示能力。

具体地，先采用全局多尺度注意力网络，将每个军事装备的光谱特征图和空间特征图进行融合(如相加)，得到一个包含两者信息的融合特征图，即每个军事装备的第一融合特征图；为提高光谱特征和空间特征的表示能力，采用多尺度注意力模块，对第一融合特征图进行条状池化操作和卷积操作，以从每个军事装备的第一融合特征图中提取出不同尺度的特征信息，并进行优化和整合，得到每个军事装备的第二融合特征图；接着，将每个军事装备的第一融合特征图和每个军事装备的第二融合特征图相加，得到第三融合特征图；将每个军事装备的第三融合特征图和每个军事装备的光谱特征图相加，得到目标光谱特征图，并将每个军事装备的第三融合特征图和每个军事装备的空间特征图相加，得到目标空间特征图。

第一融合特征图为h×w×c的图像，h表示图像的高度，w表示图像的宽度，c表示图像的通道数量。在采用多尺度注意力模块，对第一融合特征图进行条状池化操作和卷积操作，得到第二融合特征图的过程中，可在获取第一融合特征图之后，将每个军事装备的第一融合特征图输入至每个军事装备的多尺度注意力模块，通过每个军事装备的多尺度注意力模块对每个军事装备的第一融合特征图进行池化操作，包括水平最大池化、水平平均池化、竖直最大池化和竖直平均池化等，得到四个池化结果，并对每个军事装备的第一融合特征图进行三次3×3的空洞卷积，得到三个卷积结果。

再将水平最大池化对应的池化结果和水平平均池化对应的池化结果相加，得到第一相加结果；并将竖直最大池化对应的池化结果和竖直平均池化对应的池化结果相加，得到第二相加结果；再将每个军事装备的第一相加结果和每个军事装备的第二相加结果拼接，得到第一拼接结果，同时，将上述三个卷积结果拼接，得到第二拼接结果。

采用1×1的卷积和激活层(ReLU)，对每个军事装备的第一拼接结果进行处理，得到1×(h+w)×c的拼接图；再对每个军事装备的拼接图进行分割后，采用1×1的卷积和激活层(Sigmoid)处理，得到1×h×c的第一分割图以及1×w×c的第二分割图。最后，将每个军事装备的第一分割图、每个军事装备的第二分割图和每个军事装备的第二拼接结果相乘，得到的相乘结果即为第二融合特征图。

将目标光谱特征图和目标空间特征图进行融合，得到目标融合特征图，可以包括：采用自适应特征融合网络，将目标光谱特征图和目标空间特征图进行拼接，得到第一拼接特征图；对第一拼接特征图进行全局平均池化操作，得到第一池化特征图，并将第一拼接特征图进行全局最大池化操作，得到第二池化特征图；将第一池化特征图和第二池化特征图进行拼接，得到第二拼接特征图；每个军事装备的根据第一拼接特征图和第二拼接特征图，确定目标融合特征图。

其中，自适应特征融合网络能够有效获取光谱特征和空间特征在分类任务中的重要性。

全局平均池化操作是将第一拼接特征图中所有像素值求平均，得到一个数值，组成一维向量。

全局最大池化操作是在第一拼接特征图上选取最大的像素值作为每个军事装备的第一拼接特征图的代表值，同样也会生成一维向量。

无论是全局平均池化操作，还是全局最大池化操作，都能够大大减少特征维度，避免过拟合，同时也增强了自适应特征融合网络的鲁棒性。

在获取目标光谱特征图和目标空间特征图之后，可将每个军事装备的目标光谱特征图和目标空间特征图输入至自适应特征融合网络中，通过每个军事装备的自适应特征融合网络，先将每个军事装备的目标光谱特征图和每个军事装备的目标空间特征图进行拼接，得到第一拼接特征图；再对每个军事装备的第一拼接特征图分别执行全局平均池化操作和全局最大池化操作，得到第一池化特征图和第二池化特征图；接着，将每个军事装备的第一池化特征图和每个军事装备的第二池化特征图进行拼接，得到第二拼接特征图，并对每个军事装备的第二特征图进行核为2×1的卷积操作，得到第一图像，再对每个军事装备的第一图像进行核为1×1的卷积操作和采用激活层(如Sigmoid函数)进行非线性变换，得到第二图像；接着，将每个军事装备的第二图像和每个军事装备的第一拼接特征图相乘，得到第三拼接特征图，并将每个军事装备的第三拼接特征图和每个军事装备的第二拼接特征图进行拼接，得到目标融合特征图。

需要说明的是，确定第一池化特征图和每个军事装备的确定第二池化特征图的时序不限。

在一实施例中，对每个军事装备的目标融合特征图进行分类，得到每个军事装备的目标装备图像，包括：

确定每个军事装备的目标融合特征图对应的标记序列；

采用编码器中分离的空谱联合自注意力网络，对每个军事装备的标记序列进行线性变换和全局平均池化操作，得到每个军事装备的上下文向量编码特征图；

采用所述编码器中的门控前馈网络，对每个军事装备的上下文向量编码特征图进行线性变换，得到每个军事装备的目标编码特征图；

采用多层感知器网络，对每个军事装备的目标编码特征图进行分类，得到每个军事装备的目标装备图像。

其中，编码器是一种将信号或数据进行编制、转换为可用以通讯、传输和存储的信号形式的设备。可选的，每个军事装备的编码器为轻量级Transformer编码器，每个军事装备的轻量级Transformer编码器可以包括多个轻量Transformer块，各轻量Transformer块包括一个分离的空谱联合自注意力网络和一个门控前馈网络。

分离的空谱联合自注意力网络可以替代轻量级Transformer编码器中的多头自注意力模块，将每个军事装备的轻量级Transformer编码器的时间复杂度从二次方复杂度降低为线性复杂度，大幅度提高了计算效率。此外，每个军事装备的分离的空谱联合自注意力网络还具有光谱感知性。

线性变换用于将一个空间下的向量转换到另一个空间下的向量。

门控前馈网络中引入了门控机制，每个军事装备的门控机制有助于提高每个军事装备的门控前馈网络的表达能力和学习能力，从而进一步传播有用的信息。

多层感知器网络主要用于解决分类和回归问题，通过使用非线性激活层，能够学习并建模复杂的输入输出映射关系。

以轻量级Transformer编码器为例，为了适应轻量级Transformer编码器的输入要求，将自适应特征融合模块输出的目标融合特征图展平为一个标记序列；然后，在每个军事装备的标记序列的开始处添加一个可学习的分类标记，用于完成最终的分类任务。此外，为了保留位置信息，为每个分类标记附加位置嵌入；接着，将每个军事装备的标记序列送入轻量级Transformer编码器。

采用每个军事装备的轻量级Transformer编码器中的分离的空谱联合自注意力网络，对每个军事装备的标记序列进行线性变换和全局平均池化操作，得到上下文向量编码特征图。具体的，采用分离的空谱联合自注意力网络对应的四个分支处理每个军事装备的标记序列，得到输入I、输出键K、输出值V和光谱S。输入分支使用线性层，将输入的标记序列中每个标记转换为一个标量，线性层的权重会被视为一个潜在标记。其中，线性映射是一个内积运算，用于计算潜在标记与标记序列中每个标记之间的相似性，从而生成一个n维向量，n＞0；再将softmax操作应用于n维向量，生成上下文分数，每个军事装备的上下文分数用于计算上下文向量。具体来说，键分支使用线性层，对输入的标记序列进行线性投影，生成输出键K。通过计算输出键K的加权和，得到上下文向量。进一步地，值分支使用线性层，对输入的标记序列进行线性投影，再通过修正线性单元激活，生成输出值V。然后，上下文向量中的全局上下文信息通过逐元素相乘传播到输出值V。此外，为了捕获光谱-空间相关性，可以通过在光谱分支中的全局池化操作，获得光谱特征S，再将每个军事装备的光谱特征S输入另一个线性层，得到最终输出的上下文向量编码特征图。

门控前馈网络有两条路径，每条路径都包含一个线性变换层，其中一条路径被高斯误差线性单元(Gaussian Error LinearUnit，GELU)函数激活。然后，将上下文向量编码特征图分别输入至这两条路径各自包含的线性变换层，以对这两条路径的输出执行元素级乘法，进而应用另一个线性层，得到最终的输出，即，得到目标编码特征图。

下面对本申请提供的基于RFID和AI视觉的军事装备仓储管理系统进行描述，下文描述的基于RFID和AI视觉的军事装备仓储管理系统与上文描述的基于RFID和AI视觉的军事装备仓储管理方法可相互对应参照。图2是本申请提供的基于RFID和AI视觉的军事装备仓储管理系统的结构示意图，如图2所示，本申请实施例提供的基于RFID和AI视觉的军事装备仓储管理系统的结构如下：

RFID标签读取模块201，用于基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

AI视觉识别识别模块202，用于基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

确定模块203，用于根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

建立模块204，用于基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

仓储管理模块205，用于基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

本申请实施例根据RFID设备读取出的装备名称信息，以及AI视觉识别出的装备形状信息，建立任意两个军事装备的装备关联信息，从而根据任意两个军事装备之间的装备关联信息对军事装备仓储中的所有军事装备进行管理，提高了军事装备仓储的管理效率和准确性。

在一实施例中，AI视觉识别识别模块202还用于：

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的初始装备图像；

将每个军事装备的初始装备图像输入至光谱卷积神经网络和空间卷积神经网络中，分别得到所述光谱卷积神经网络输出的光谱特征图以及所述空间卷积神经网络输出的空间特征图；所述光谱卷积神经网络和所述空间卷积神经网络中包括三维卷积层和残差层；

基于每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像；

对每个军事装备的目标装备图像进行轮廓识别，得到每个军事装备的装备形状信息。

在一实施例中，AI视觉识别识别模块202还用于：

将每个军事装备的初始装备图像输入至所述第一三维卷积层中，对初始装备图像的光谱维度进行降维处理，得到第一特征图；

将所述第一特征图输入至所述残差层中，对所述第一特征图的图像块进行光谱特征提取，得到第二特征图；

根据所述第一特征图和所述第二特征图，确定目标特征图；

将所述目标特征图输入至所述第二三维卷积层中，对所述目标特征图的图像块进行光谱特征提取，得到每个军事装备的光谱特征图。

在一实施例中，AI视觉识别识别模块202还用于：

将所述第一特征图输入至所述第三三维卷积层中，对所述第一特征图的图像块进行光谱特征提取，得到第一子特征图；

将所述第一子特征图输入至所述批量归一化层中，对所述第一子特征图进行归一化处理，得到第二子特征图；

将所述第二子特征图输入至所述修正线性单元激活层中，对所述第二子特征图进行非线性变换，得到所述第二特征图。

在一实施例中，AI视觉识别识别模块202还用于：

对每个军事装备的光谱特征图进行光谱信息增强以及对每个军事装备的空间特征图进行空间信息增强，得到每个军事装备的目标光谱特征图和目标空间特征图；

将每个军事装备的目标光谱特征图和目标空间特征图进行融合，得到每个军事装备的目标融合特征图；

对每个军事装备的目标融合特征图进行分类，得到每个军事装备的目标装备图像。

在一实施例中，AI视觉识别识别模块202还用于：

采用全局多尺度注意力网络，将每个军事装备的光谱特征图和空间特征图进行融合，得到每个军事装备的第一融合特征图；

采用多尺度注意力模块，对每个军事装备的第一融合特征图进行条状池化操作和卷积操作，得到每个军事装备的第二融合特征图；

根据每个军事装备的光谱特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标光谱特征图；

根据每个军事装备的空间特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标空间特征图。

在一实施例中，AI视觉识别识别模块202还用于：

确定每个军事装备的目标融合特征图对应的标记序列；

采用编码器中分离的空谱联合自注意力网络，对每个军事装备的标记序列进行线性变换和全局平均池化操作，得到每个军事装备的上下文向量编码特征图；

采用所述编码器中的门控前馈网络，对每个军事装备的上下文向量编码特征图进行线性变换，得到每个军事装备的目标编码特征图；

采用多层感知器网络，对每个军事装备的目标编码特征图进行分类，得到每个军事装备的目标装备图像。

在一实施例中，建立模块204还用于：

若任意两个军事装备的名称相似度值大于等于第一相似度阈值，则建立任意两个军事装备之间的名称链关联关系；或，

若任意两个军事装备的形状相似度值大于等于第二相似度阈值，则建立任意两个军事装备之间的形状链关联关系；或，

若任意两个军事装备的名称相似度值大于等于所述第一相似度阈值，且，任意两个军事装备的形状相似度值大于等于所述第二相似度阈值，则建立任意两个军事装备之间的名称链关联关系和形状链关联关系。

在一实施例中，确定模块203还用于：

获取任意两个军事装备的装备名称信息中相同词语的数量，并基于所述数量确定任意两个军事装备的名称相似度值；

根据任意两个军事装备的装备形状信息获取任意两个军事装备的形状轮廓；

根据任意两个军事装备的形状轮廓的重合程度，确定任意两个军事装备的形状相似度值

图3是本申请提供的电子设备的结构示意图。图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于RFID和AI视觉的军事装备仓储管理方法，该方法包括：

基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于RFID和AI视觉的军事装备仓储管理方法，该方法包括：

基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于RFID和AI视觉的军事装备仓储管理方法，该方法包括：

基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，包括：

基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。

2.根据权利要求1所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息，包括：

基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的初始装备图像；

将每个军事装备的初始装备图像输入至光谱卷积神经网络和空间卷积神经网络中，分别得到所述光谱卷积神经网络输出的光谱特征图以及所述空间卷积神经网络输出的空间特征图；所述光谱卷积神经网络和所述空间卷积神经网络中包括三维卷积层和残差层；

基于每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像；

对每个军事装备的目标装备图像进行轮廓识别，得到每个军事装备的装备形状信息。

3.根据权利要求2所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述光谱卷积神经网络包括第一三维卷积层、第二三维卷积层和残差层；

将每个军事装备的初始装备图像输入至光谱卷积神经网络中，得到所述光谱卷积神经网络输出的光谱特征图，包括：

将每个军事装备的初始装备图像输入至所述第一三维卷积层中，对初始装备图像的光谱维度进行降维处理，得到第一特征图；

将所述第一特征图输入至所述残差层中，对所述第一特征图的图像块进行光谱特征提取，得到第二特征图；

根据所述第一特征图和所述第二特征图，确定目标特征图；

将所述目标特征图输入至所述第二三维卷积层中，对所述目标特征图的图像块进行光谱特征提取，得到每个军事装备的光谱特征图。

4.根据权利要求3所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述残差层包括第三三维卷积层、批量归一化层和修正线性单元激活层；

所述将所述第一特征图输入至所述残差层中，对所述第一特征图的图像块进行光谱特征提取，得到第二特征图，包括：

将所述第一特征图输入至所述第三三维卷积层中，对所述第一特征图的图像块进行光谱特征提取，得到第一子特征图；

将所述第一子特征图输入至所述批量归一化层中，对所述第一子特征图进行归一化处理，得到第二子特征图；

将所述第二子特征图输入至所述修正线性单元激活层中，对所述第二子特征图进行非线性变换，得到所述第二特征图。

5.根据权利要求2所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述基于每个军事装备的光谱特征图和空间特征图进行图像分类，得到每个军事装备的目标装备图像，包括：

对每个军事装备的光谱特征图进行光谱信息增强以及对每个军事装备的空间特征图进行空间信息增强，得到每个军事装备的目标光谱特征图和目标空间特征图；

将每个军事装备的目标光谱特征图和目标空间特征图进行融合，得到每个军事装备的目标融合特征图；

对每个军事装备的目标融合特征图进行分类，得到每个军事装备的目标装备图像。

6.根据权利要求5所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述对每个军事装备的光谱特征图进行光谱信息增强以及对每个军事装备的空间特征图进行空间信息增强，得到每个军事装备的目标光谱特征图和目标空间特征图，包括：

采用全局多尺度注意力网络，将每个军事装备的光谱特征图和空间特征图进行融合，得到每个军事装备的第一融合特征图；

采用多尺度注意力模块，对每个军事装备的第一融合特征图进行条状池化操作和卷积操作，得到每个军事装备的第二融合特征图；

根据每个军事装备的光谱特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标光谱特征图；

根据每个军事装备的空间特征图、第一融合特征图和第二融合特征图，确定每个军事装备的目标空间特征图。

7.根据权利要求5所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述对每个军事装备的目标融合特征图进行分类，得到每个军事装备的目标装备图像，包括：

确定每个军事装备的目标融合特征图对应的标记序列；

采用编码器中分离的空谱联合自注意力网络，对每个军事装备的标记序列进行线性变换和全局平均池化操作，得到每个军事装备的上下文向量编码特征图；

采用所述编码器中的门控前馈网络，对每个军事装备的上下文向量编码特征图进行线性变换，得到每个军事装备的目标编码特征图；

采用多层感知器网络，对每个军事装备的目标编码特征图进行分类，得到每个军事装备的目标装备图像。

8.根据权利要求1所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息，包括：

若任意两个军事装备的名称相似度值大于等于第一相似度阈值，则建立任意两个军事装备之间的名称链关联关系；或，

若任意两个军事装备的形状相似度值大于等于第二相似度阈值，则建立任意两个军事装备之间的形状链关联关系；或，

若任意两个军事装备的名称相似度值大于等于所述第一相似度阈值，且，任意两个军事装备的形状相似度值大于等于所述第二相似度阈值，则建立任意两个军事装备之间的名称链关联关系和形状链关联关系。

9.根据权利要求1所述的基于RFID和AI视觉的军事装备仓储管理方法，其特征在于，所述根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值，包括：

获取任意两个军事装备的装备名称信息中相同词语的数量，并基于所述数量确定任意两个军事装备的名称相似度值；

根据任意两个军事装备的装备形状信息获取任意两个军事装备的形状轮廓；

根据任意两个军事装备的形状轮廓的重合程度，确定任意两个军事装备的形状相似度值。

10.一种基于RFID和AI视觉的军事装备仓储管理系统，其特征在于，包括：

RFID标签读取模块，用于基于RFID设备读取军事装备仓储中每个军事装备上的RFID标签，得到每个军事装备的装备名称信息；

AI视觉识别识别模块，用于基于AI视觉对的每个军事装备进行视觉识别，得到每个军事装备的装备形状信息；

确定模块，用于根据任意两个军事装备的装备名称信息确定任意两个军事装备的名称相似度值，并基于任意两个军事装备的装备形状信息确定任意两个军事装备的形状相似度值；

建立模块，用于基于任意两个军事装备的名称相似度值和形状相似度值，建立任意两个军事装备之间的装备关联信息；

仓储管理模块，用于基于任意两个军事装备之间的装备关联信息，对所述军事装备仓储中的所有军事装备进行管理。