CN112668365A - 一种物料入库识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种入库物料盘点方法，包括：采集待识别的至少一物料与物料承载托盘的初始图像信息；提取初始图像信息中至少一类型物料的图像信息，输入类型物料的图像信息至特征向量提取网络，输出与类型物料对应的网络特征向量信息；计算网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别物料的类型。本发明能有效防止漏检物料情形发生，增强物料类别判断结果的可靠性，不会出现对具体物料类别的误判混淆。本发明还公开了一种物料入库识别装置、设备及计算机可读存储介质同样可实现上述技术效果。

Description

一种物料入库识别方法、装置、设备及存储介质

技术领域

本申请涉及自动化信息处理领域，具体涉及一种物料入库识别方法、装置、设备及存储介质。

背景技术

在对现有技术的研究和实践过程中，本发明的发明人发现，对于制造业企业，其各种机械设备的零件种类多、形状各异、需求量大，对入库物料的类别和数量准确性要求非常高。而目前多数制造业企业所有的物料入库均来源于供应商的提报和人工的抽检复核，没有可以复核多方的数据一致性的信息化系统。物料的入库通过人工计数，时间长、覆盖范围小、准确性难以保障。缺乏标准化的系统建设，信息化、自动化程度低，导致入库信息确认效率低。

现有图片标注相关技术中，当待标注图片中出现标注模型中未出现过的物品时，无法直接使用标注模型进行标注，而是需要重复执行模型标注对包含有新物品的原始图片进行大量的人工标注，并得到出现过新物品的标注模型，再利用出现过该新物品的标注模型进行标注。由于现实生活中的物品种类成千上万，所以使用上述标注方法，对于模型中未出现过的物品都需要重新标注并更新模型，耗费大量人力物力。同时，当入库物料种类太多时，由于物品之间的相似性，上述标注方法的准确度也会急剧下降。

发明内容

本发明目的是提供一种物料入库识别方法、装置、设备及存储介质，以解决上述技术问题，本发明实施例提供以下技术方案：

一种物料入库识别方法，采集待识别的至少一种物料与物料承载托盘的初始图像信息；提取所述初始图像信息中至少一种类型物料的图像信息，输入所述类型物料的图像信息至特征向量提取网络，输出与所述类型物料对应的网络特征向量信息；计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的类型。

本申请的另一目的在于提供了一种物料入库识别设备、装置及计算机可读存储介质。

可选的，预先构建孪生网络，选用相似的样本图像组和/或不相似的样本图像组作为所述孪生网络的前端输入图像信息，用于调整训练孪生网络的网络参数。

可选的，所述孪生网络为单分支孪生网络或双分支孪生网络。

可选的，所述选用相似的样本图像组和/或不相似的样本图像组作为所述孪生网络的前端输入图像信息包括：将所述样本图像组中的两幅样本图像分别输入所述单分支孪生网络或双分支孪生网络的两分支网络，并获取双分支孪生网络输出的对应所述样本图像组的相似度结果；计算双分支孪生网络输出的样本图像组的相似性结果与该样本图像组已知的相似性结果之间的误差值；根据所述误差值调整双分支孪生网络的网络参数，直至所述误差值小于预设误差值。

可选的，所述提取所述初始图像信息中至少一种类型物料的图像信息包括：使用单一目标检测框架网络选定所述初始图像信息中的所述至少一种类型物料的图像信息，并从所述初始图像信息中截取出与所述待识别物料对应的图像区域。

可选的，所述单一目标检测框架网络依据所述截取出的图像区域，统计所述初始图像信息中各类型物料的数量。

可选的，完成调整训练孪生网络的网络参数后，预先利用真实物料样本图像作为所述孪生网络的前端输入图像信息，并将归一化处理后的所述标准类型物料特征向量信息存储于数据库中。

可选的，计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度包含：计算所述网络特征向量信息与预存标准类型物料特征向量信息间的欧式距离相似度sim1或余弦相似度sim2。具体公式如下：

为实现上述目的，本申请还提供了一种物料入库识别装置，该装置包括：

图像采集模块，用于采集待识别的至少一种物料与物料承载托盘的初始图像信息；

深度学习网络，用于提取所述初始图像信息中至少一种类型物料的图像信息，输入所述类型物料的图像信息至特征向量提取网络，输出与所述类型物料对应的网络特征向量信息；计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的类型。

为实现上述目的，本申请还提供了一种物料入库识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述内容所描述的物料入库识别方法的步骤。

为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的物料入库识别方法的步骤。

显然，本申请所提供的技术方案，适用单一目标检测网络能够在保证物料入库效率条件下，有效防止漏检物料情形发生；进一步地，结合使用孪生网络使得后续判断物料类别结果的可靠性增强，不会出现对具体物料类别的误判混淆；再者，基于对各个类型物料随机无规律入库的实际场景考量，在数据库预先或同步存储经卷积神经网络提取的标准类型物料特征向量信息，能够减少特征提取网络的计算量、计算时间及存储成本的开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的物料入库识别方法的流程示意图；

图2是本发明一实施例提供的物料入库识别与物料信息统计方法的流程示意图；

图3是本发明实施例中一种物料入库识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1是本发明一实施例提供的物料入库识别方法的流程示意图，该消息显示方法可以包括：

S101、采集待识别物料与物料承载托盘的初始图像信息；

S102、提取所述初始图像信息中至少一类型物料的图像信息，输入所述类型物料的图像信息至所述至神经网络，输出与所述类型物料对应的网络特征向量信息；

S103、判断所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的实际类型。

具体的，本发明实施例中，采集待识别入库物料及物料承载托盘的初始图像信息，用于获取待识别各类别物料类目下的各型号物料的图像信息；

在当前业务场景中，同一个物料类别下往往是细分了数量巨大的差异化型号，导致同一类别的物料仍然具有较大的差异且各类别物料的型号数量是动态变化的，不可能穷举，传统的分类算法，无论采用哪种特征分类并不可能在图像识别之前真实匹配型号数量动态变化的具体物料。

其中，所述获取待识别各类别物料类目下的各型号物料的图像信息，包括：

利用工业相机获取上述初始图像信息；初始图像信息中可能包含多个类型的多种型号的不同物料。为了对待识别的不同型号的物料进行逐一识别，需要通过单一目标检测算法从初始图像信息中进行检测，进一步对初始图像信息中的物料进行画框、特征提取等操作，并继续将画框中的各个具体型号的物料截取出来用于后续预处理操作，上述截取出来的各物料图像便是本实施例步骤中待识别物料的图像信息。

在本发明一实施例中，该步骤采用SSD(single shot multibox detector，单一目标检测框架)网络区分初始图像信息中的实时物料图像信息和物料承载托盘图像信息，从初始图像信息中检测出待识别物料图像信息。具体的，可包含获取各个物料在初始图像信息上的最小外接矩形。依据最小外接矩形，进行图像裁剪，最终从初始图像信息中截取出与所述待识别物料对应的图像区域。需要说明的是，以上截取相对应的物料图像区域，是用于后续进行特征提取处理的前端输入数据。

需要注意的是，本发明一实施例中进一步揭示在执行具体的分类判断步骤操作之前，本发明需要构建训练的Siamese网络(以下简称：孪生网络)，作为本发明局部实施方案孪生网络前期构建过程中，可选的，构建孪生网络可选为单分支孪生网络或者双分支孪生网络。如选用双分支孪生网络，则该双分支孪生网络是由两支相同的单支孪生网络并联拼接而成。传统的每支单支孪生网络均具有多个全连接层，通常为7个全连接层。本发明局部实施方案揭示的双分支孪生网络的每单支孪生网络的前6个全连接层中包含的神经元个数与传统的孪生网络包含的神经元个数相等，本实施例中，同样可以对传统的单支孪生网络进行改进，将最后一个，即第7个全连接层设计为包含预设数量的神经元，该第7个全连接层的神经元个数即为提取图像的深度网络特征的维数。比如，本实施例中设置为128个，即通过该单支孪生网络能够提取图像的128维深度网络特征。本实施例还在拼接后的双分支孪生网络后连接两个全连接层，其中，第一全连接层包含的神经元按照具体情况设定，第二个全连接层包含的神经元个数与整个双分支孪生网络的输出结果种类个数相等。

前述构建好了双分支Simese网络后，对构建的双分支孪生进行样本训练，其中，本实施例采用正集合样本和负集合样本对构建的双孪生网络进行训练，其中，所述正集合样本为具有相似性的样本图像组，所述负集合样本为不具有相似性的样本图像组。需要注意的是，孪生网络的工作运行机制是接收两个图片或图像组作为前端输入对象，而不是以单一张图片作为输入。即本实施例选取大量的样本图像组，其中，一部分样本图像组为相似图相对，另一部分样本图像组为不相似的图相对。选取不同相似性的样本图像组来对构建的孪生网络进行训练，使训练出来的孪生网络更精确。

在本发明一实施例中，该步骤包含具体的孪生网络训练过程为：选取具有相似性的样本图像组和不具相似性的样本图像组，将样本图像组中的两幅图像分别输入双孪生网络的两分支网络，并获取双孪生网络输出的样本图像组的相似性结果；计算双分支孪生网络输出的样本图像组的相似性结果与该样本图像组已知的相似性状态之间的误差值；根据所述误差值对双分支孪生网络的网络参数反复进行调整，直到所述误差值小于预设误差值。可根据不具相似性的样本图像组与查询图片的欧式距离调整网络参数。优选的，将成对的样本图像组输入到孪生网络对应的子网，获得目标特征层和搜索特征层，抽取不同层次和不同尺度的特征层，构建出网络模型，同时，基于候选框尺寸大小公式和位置公式，在特征提取网络的每层特征层中构造出不同位置不同大小的候选框；将特征提取网络的每一层特征层输入到分类定位并行网络，获得并行网络的输出结果，将输出的结果与标签真实值进行相似度匹配，获取正样本和负样本；进一步的，利用目标损失函数计算匹配结果与标签真实值之间的误差，并将该误差逐层反向传播至输入层，同时，基于小批量随机梯度下降优化算法调整网络中的权重和偏置，获取最优的误差值，以此完成一次网络模型训练；进一步的，重复执行以上步骤，直至目标损失函数的误差值收敛于最小值。

输入双分支孪生网络的样本图像组为相似的图像组，其中一幅图像输入双分支孪生网络的一支，另一幅图像输入双分支孪生网络的另一支，两幅图像分别通过单支的孪生网络提取128维深度网络特征，然后对两幅图像的128维深度网络特征计算相似度，并输出该两幅图像是否相似的结果。假设双分支孪生网络输出的结果为不相似，此时表明该双分支孪生网络输出的结果不准确，因此，需要调整整个孪生网络的网络参数，使之输出的结果与已知的结果一致，即输出的结果为两幅图像相似。本实施例采用大量的样本图像组对双分支孪生网络进行训练，训练后的孪生网络的精准度很高。

出于对前期网络训练数据量与执行运算成本的维度考量，本领域技术人员也可选择单支孪生网络。本发明预先采用上述可选方式对孪生网络进行训练，需要说明的是，此时用于训练的图像数据为原本各个真实物料在各不同角度呈现的各自的图像信息。需要说明的是，本实施例中所有的图像信息输入目标孪生网络之前，均需要进行预处理操作，该预处理操作可以是将原图片进行尺寸统一及归一化处理，该尺寸统一可以是将尺寸统一至孪生网络输入大224*224。孪生网络下包含2组CNN网络分别对标准的物料图像及SSD截取的待检测物料图像进行特征提取，然后利用距离公式计算比较阈值大小，得出相似性结果。存储的目的显而易见，亦即对前期已完成标准图像特征提取的数据进行存储，减少后期对已提取特征的同类物料的特征提取计算量消耗。

进一步的，深度学习(Deep Learning)尤其是卷积神经网络(CNN)作为图像处理及模式识别中的研究重点，受到越来越多的关注，它是机器学习研究中的一个领域分支，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。深度学习的算法从理论上有别于传统图像处理算法，它能够更加快速、更加准确的找到图像中的识别目标。

深度学习图像处理算法测量与检测结果的准确度是建立在有大量图像数据基础之上的。而在本发明实施例中涉及前端卷积神经网络处理步骤中，大量的标准的物料图像输入至卷积神经网络作深度特征提取，需要强调的是，上述标准的物料图像是指已知图像内容的用于产生标准特征信息模板的样本，本发明实施过程中，对于上述标准的物料图像的选择可以包含针对物料实物进行不同角度拍摄的清晰图像。在前端卷积神经网络处理过程中，鉴于图像具有静态型的属性，也就意味着在一个图像区域的特征极有可能在另一个区域同样适用。所以，当描述一个相对大的图像时候，卷积神经网络就可以对不同位置的特征进行聚合统计(例如：可以计算图像一个区域上的某个特定特征的平均值或者最大值)这种统计方式不仅可以降低纬度，并且不容易过拟合。

前期对孪生网络的训练的目的包含对网络参数的优化调节，对于比较两个图像是否属于相类似图像，最终使得构建的孪生网络对图像特征甄别及分类具有广泛的适用性。

将标准的物料图像与测试图像输入至经过训练后的孪生网络，并分别作前向计算得到所述模板图像与所述测试图像的网络特征向量信息；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。

本发明实施例提供的一种检测方法包括：将所述模板图像与所述测试图像输入经过训练后的孪生网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量。其中，孪生网络是一种深度神经网络，根据孪生网络的特点，可计算出来图像各个层次的特征，包括低层特征和高层特征，从而根据图像的高层特征对图像进行分析时将得到更为精确的结果。为了进行图像匹配，设计孪生网络包含两个结构一样并共享参数的卷积神经网络，在利用孪生网络进行图像匹配时，分别输入图像的模板图像和测试图像，从而可分别计算出来两个输入图像的特征向量，再计算两个特征向量的相似度，从而根据相似度的值判断两幅图像的相似程度即判断两幅图像是否匹配。

其中，经过训练后的孪生网络由于经过大量的样本图像的训练学习，具有了准确地对模板图像与测试图像进行图像匹配的能力。

其中，模板图像是用于对照的标准的物料图片，测试图像是通过与模板图像进行对照从而判断与模板图像是否匹配。

进一步地，计算所述模板图像与所述测试图像的特征向量的相似度。

其中，相似度是用于判断模板图像与测试图像相似程序的参数。

可选地，在本发明的一些可能的实施方式中，可在计算模块图像与测试图像的特征向量后，再计算特征向量的欧氏距离得到模板图像与测试图像的特征向量的相似度。

最后，根据所述相似度确定所述测试图像与所述模板图像是否匹配。

其中，由于相似度是对孪生网络输入的两个图像的特征的相似情况的度量，所以可通过相似度来判断模板图像与测试图像是否相似，也即判断模板图像与测试图像是否匹配。

可以看出，本实施例的方案中，将模板图像与测试图像输入经过训练后的孪生网络，并分别作前向计算得到所述模板图像与所述测试图像的特征向量；计算所述模板图像与所述测试图像的特征向量的相似度；根据所述相似度确定所述测试图像与所述模板图像是否匹配。由于孪生网络可以提取到图像的高级特征，将图像输入经过训练后的孪生网络可以准确地判断模板图像与测试图像是否匹配，判断准确率高。

需要说明的是，本实施例中的单一目标检测算法可以为基于深度学习的图像检测算法Faster RCNN、SSD，也可以为其他算法，如基于Haar特征的Adaboost算法。

关于进一步确定特征向量相似性方面，在另一种可能实现方式中，获取目标物料的特征向量，作为第一向量，对于每个标准物料类型实体，获取该实体的特征向量，作为第二向量，计算第一向量与第二向量的相关度，作为实体与目标物料的相关度，通过上述方式分别获取多个物料实体中每个实体类型与目标物料的相关度。

其中，获取到第一向量和第二向量后，可以计算第二向量与第一向量的余弦相似度，通过余弦相似度来表示每个实体类型与目标物料的相关度，余弦相似度越大，相关度越大，表示备选实体与目标语句越相关。或者，计算第二向量与第一向量之间的欧式距离，通过欧式距离来表示备选实体与目标语句的相关度，欧式距离越小，相关度越大，表示每个实体类型与目标物料的相关度越相关。或者，还可以通过其他方式计算第一向量和第二向量的相关度。

只要能实现从整体图像信息中截取与待识别商品对应的图像信息便可，在此并不具体限定。

鉴于物料入库场景中辨识、统计环节较为复杂，请参考本发明另一物料入库识别方法流程实施例。其中图2是本发明一实施例提供的物料入库识别与物料信息统计方法的流程示意图；

步骤S200：目标检测，是用以采集待识别物料与物料承载托盘的初始图像信息。

步骤S201：物料计算，是指同时利用单一目标检测框架网络依据截取出的图像区域，统计所述初始图像信息中各类型物料的数量。

步骤S202：CNN特征提取，通过孪生网络中卷积神经网络对标准的物料图像进行特征提取。

步骤S203：数据库已存储特征向量，是指通过孪生网络中卷积神经网络对SSD截取的待检测物料图像。

步骤S204：欧式距离计算，是指计算以上提取特征向量之间的欧式距离，通过欧式距离来表示备选实体与目标语句的相关度，欧式距离越小，相关度越大，表示每个实体类型与目标物料的相关度越相关。

步骤S205：是否同一类别，是指通过欧式距离计算明确实际物料具体类别，且实际物料与标准的物料类别一致。

步骤S206：类别错误，是指通过欧式距离计算明确实际物料具体类别，且实际物料与标准的物料类别不相符，并显示类别错误。

步骤S207：数目是否正确，是指统计物料承载托盘上实际物料的数量。

步骤S208：类别数目均正确，是指经过物料类别比对和计数后，得到了托盘内的物料类别和数目，与企业ERP系统读取的该批次入库物料的类别和数目比对，通过判断，输出类别与数目均正确。

步骤S209数目错误，是指经过物料类别比对和计数后，得到了托盘内的物料类别和数目，与企业ERP系统读取的该批次入库物料的类别和数目比对，通过判断，物料数目错误以及具体的错误信息。

本申请还提供了一种物料入库识别装置，包括：图像采集模块，用于采集待识别的至少一物料与物料承载托盘的初始图像信息；以及

深度学习网络，用于提取所述初始图像信息中至少一类型物料的图像信息，输入所述类型物料的图像信息至特征向量提取网络，输出与所述类型物料对应的网络特征向量信息；计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的类型。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对物料入库识别方法的详细描述，此处不再赘述。

相应于上面的方法实施例，图3是本发明实施例中一种物料入库识别设备的结构示意图。如图3所示，包括：

存储器302，用于存储计算机程序；

处理器301，用于执行计算机程序时实现上述物料入库识别方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述物料入库识别方法的步骤。

本发明实施例还提供一种设备，该设备可以为服务器，其集成了本发明实施例所提供的任一种物料入库识别装置。如图3所示，其示出了本发明实施例所涉及的设备的结构示意图，具体来讲：

该设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解，图3中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器301是该设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行设备的各种功能和处理数据，从而对设备进行整体监控。可选的，处理器301可包括一个或多个处理核心；优选的，处理器301可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理数据通信。可以理解的是，上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块，处理器301通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如音频播放功能、图像播放功能等)等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器302还可以包括存储器控制器，以提供处理器301对存储器302的访问。

设备还包括给各个部件供电的电源303，优选的，电源303可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该设备还可包括输入单元304，该输入单元304可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，设备中的处理器301会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中，并由处理器301来运行存储在存储器302中的应用程序，从而实现各种功能，如下：

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对人脸图像处理方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种虚拟资源的转移方法中的步骤。例如，该指令可以执行如下步骤：

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种物料入库识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种物料入库识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种物料入库识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种物料入库识别方法，其特征在于，包括：

采集待识别的至少一物料与物料承载托盘的初始图像信息；

提取所述初始图像信息中至少一类型物料的图像信息，输入所述类型物料的图像信息至特征向量提取网络，输出与所述类型物料对应的网络特征向量信息；

计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的类型。

2.根据权利要求1所述的物料入库识别方法，其特征在于，还包括：预先构建孪生网络，选用相似的样本图像组和/或不相似的样本图像组作为所述孪生网络的前端输入图像信息，用于调整训练孪生网络的网络参数。

3.根据权利要求2所述的物料入库识别方法，其特征在于，所述孪生网络为单分支孪生网络或双分支孪生网络。

4.根据权利要求3所述的物料入库识别方法，其特征在于，所述选用相似的样本图像组和/或不相似的样本图像组作为所述孪生网络的前端输入图像信息包括：

将所述样本图像组中的两幅样本图像分别输入所述双分支孪生网络的两分支网络，并获取双分支孪生网络输出的对应所述样本图像组的相似度结果；

计算所述双分支孪生网络输出的样本图像组的相似性结果与该样本图像组已知的相似性结果之间的误差值；

根据所述误差值调整双分支孪生网络的网络参数，直至所述误差值小于预设误差值。

5.根据权利要求1所述的物料入库识别方法，其特征在于，所述提取所述初始图像信息中至少一类型物料的图像信息包括：使用单一目标检测框架网络选定所述初始图像信息中的所述至少一类型物料的图像信息，并从所述初始图像信息中截取出与所述待识别物料对应的图像区域。

6.根据权利要求5所述的物料入库识别方法，其特征在于，所述单一目标检测框架网络依据所述截取出的图像区域，统计所述初始图像信息中各类型物料的数量。

7.根据权利要求3或4所述的物料入库识别方法，其特征在于，完成调整训练孪生网络的网络参数后，预先利用真实物料样本图像作为所述孪生网络的前端输入图像信息，并将归一化处理后的所述标准类型物料特征向量信息存储于数据库中。

8.根据权利要求1所述的物料入库识别方法，其特征在于，计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度包含：计算所述网络特征向量信息与预存标准类型物料特征向量信息间的欧式距离相似度或余弦相似度。

9.一种物料入库识别装置，其特征在于，包括：

图像采集模块，用于采集待识别的至少一物料与物料承载托盘的初始图像信息；

深度学习网络，用于提取所述初始图像信息中至少一类型物料的图像信息，输入所述类型物料的图像信息至特征向量提取网络，输出与所述类型物料对应的网络特征向量信息；计算所述网络特征向量信息与预存标准类型物料特征向量信息之间的相似度，依据相似度识别所述物料的类型。

10.一种物料入库识别设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的物料入库识别方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的物料入库识别方法的步骤。

Images