CN114219402A - 物流托盘码放识别方法、装置、设备及存储介质 - Google Patents

物流托盘码放识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114219402A
CN114219402A CN202111554470.9A CN202111554470A CN114219402A CN 114219402 A CN114219402 A CN 114219402A CN 202111554470 A CN202111554470 A CN 202111554470A CN 114219402 A CN114219402 A CN 114219402A
Authority
CN
China
Prior art keywords
model
data set
logistics
training
monitoring sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111554470.9A
Other languages
English (en)
Inventor
徐梦佳
李斯
杨周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202111554470.9A priority Critical patent/CN114219402A/zh
Publication of CN114219402A publication Critical patent/CN114219402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机技术领域，公开了一种物流托盘码放识别方法、装置、设备及存储介质，所述方法包括：通过获取多张物流托盘的监控样本图像，将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集，获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型，通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果；本发明通过目标识别模型对物流托盘码放是否规范进行识别，减少人力成本，提高了物流托盘码放情况识别的准确率和识别效率，降低漏检率，提高工作效率。

Description

物流托盘码放识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种物流托盘码放识别方法、装置、设备及存储介质。
背景技术
托盘是使静态货物转变为动态货物的媒介物，一种载货平台，而且是活动的平台，或者说是可移动的地面。即使放在地面上失去灵活性的货物，一经装上托盘便立即获得了活动性，成为灵活的流动货物，因为装在托盘上的货物，在任何时候都处于可以转入运动的准备状态中。托盘是现代物流中最普遍使用的装卸搬运器具之一。在现代的物流运输中已经基本实现物流托盘化。物流托盘化是指在物流运输的装卸载过程中，把需要托载货物和包裹放入标准化的托盘。物流托盘化是实现物体装卸、存储等作业机械化、连贯化的必要前提。在托盘使用之后也需要规范码放，否则容易消耗空间，影响操作效率，甚至威胁人身安全；传统托盘规范摆放依靠特定的安检员检查，耗时耗力，同时托盘的不规范摆放影响工作效率。
发明内容
有鉴于此，有必要针对耗时耗力、影响工作效率等的问题，提供一种物流托盘码放识别方法、装置、设备及存储介质。
一种物流托盘码放识别方法，所述物流托盘码放识别方法包括以下步骤：
获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
在其中一个实施例中，获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
在其中一个实施例中，将所述训练数据集中的所述监控样本图像输入所述预训练模型，所述预训练模型包括提炼锚模型和目标检测模型，所述提炼锚模型和目标检测模型包括conv4_3、conv5_3、fc7、conv6_2四个网络层；
调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置；
将经过所述提炼锚模型处理后的所述特征图传输至所述目标检测模型，调用所述目标检测模型以获取物流托盘对应的目标边界框。
在其中一个实施例中，调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图；
从所述特征图中得到多个初始边界框，并基于所述初始特征图得到两个支路，其中所述两个支路中一个支路用于坐标回归、另一个支路用于分类；
根据所述两个支路，得到所述多个初始边界框的坐标回归值和正负样本分类，并滤除部分负样本，以粗略预测物流托盘的位置。
在其中一个实施例中，所述conv4_3、conv5_3为浅层网络层，所述fc7、conv6_2为高层网络层；
对所述高层网络层的特征图进行上采样处理，并与所述浅层网络层的特征图进行融合，以增强所述浅层网络层的特征图的语义信息。
在其中一个实施例中，采用ResNet-101网络为所述预训练模型的特征提取网络，所述ResNet-101网络构建四个残差块；
对每个所述残差块建立两个3×3的卷积层，其中所述残差块和所述卷积层的输出通道数量相等，所述两个卷积层的输出和输入形状相同；
在每个所述卷积层之后添加归一化层，以进行数据的归一化，并加快模型构建速度。
一种物流托盘码放识别装置，所述物流托盘码放识别装置包括：
获取模块，用于获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
标注模块，用于将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
训练模块，用于获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
测试模块，用于通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
在其中一个实施例中，
获取子模块，用于获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
增强子模块，用于对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
扩充子模块，用于对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
标注子模块，用于利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
分割子模块，用于按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
一种物流托盘码放识别装置，所述物流托盘码放识别装置包括：
一种物流托盘码放识别设备，所述物流托盘码放识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流托盘码放识别设备执行上述所述的物流托盘码放识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的物流托盘码放识别方法的步骤。
上述物流托盘码放识别方法、装置、设备及存储介质，通过获取多张物流托盘的监控样本图像，将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集，获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型，通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果；本发明通过目标识别模型对物流托盘码放是否规范进行识别，减少人力成本，提高了物流托盘码放情况识别的准确率和识别效率，降低漏检率，提高工作效率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明物流托盘码放识别方法的第一个实施例示意图；
图2为本发明物流托盘码放识别方法的第二个实施例示意图；
图3为本发明物流托盘码放识别装置的第一个实施例示意图；
图4为本发明物流托盘码放识别装置的第二个实施例示意图；
图5为本发明物流托盘码放识别设备的一个实施例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
作为一个较好的实施例，如图1所示，一种物流托盘码放识别方法，用于物流托盘码放是否规范进行识别，该物流托盘码放识别方法包括以下步骤：
步骤101、获取多张物流托盘的监控样本图像；
可以理解的是，本发明的执行主体可以为物流托盘码放识别装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，连接局域网的监控摄像头采集物流装卸载场所的监控视频，服务器获取物流运输的装卸载过程中的监控视频，从监控视频中截取出多张物流托盘的监控样本图像，多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像。
步骤102、将多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
本实施例中，服务器分别对各个物流托盘的监控样本图像进行预处理，预处理的方式包括特征值增强、灰度化处理、尺寸归一化处理；图像特征值增强用于减少图像中的噪声，提高图像中的对比度，突出物流托盘，使得物流托盘便于区分；灰度化处理用于减少计算量、减少训练时间等；尺寸归一化处理用于将所有的监控样本图像归一化成相同的尺寸；采用LabelImg标注工具对各个监控样本图像中的位置进行标注，监控样本图像标注越准确，模型的准确度越高；按照比例将标注图像集分割为训练数据集、验证数据集和测试数据集，训练数据集用于构建模型，验证数据集用来用于调整模型的超参数和用于对模型的能力进行初步评估，测试数据集用于评估模型的泛化能力。
步骤103、获取预训练模型，利用训练数据集对预训练模型进行训练，并进行模型优化，得到目标识别模型；
本实施例中，该步骤是通过训练数据集训练空白的预训练模型，预训练模型可以为RefineDet模型，RefineDet是CVPR2018的论文，大致上是SSD算法和RPN网络、FPN算法的结合，可以在保持SSD高效的前提下提高检测效果RefineDet的主要思想：一方面引入twostage类型的object detection算法中对box的由粗到细的回归思想，由粗到细回归其实就是先通过RPN网络得到粗粒度的box信息，然后再通过常规的回归支路进行进一步回归从而得到更加精确的框信息，这也是two stage类型的object detection算法效果优于onestage类型的一个重要原因；另一方面引入类似FPN网络的特征融合操作用于检测网络，可以有效提高对小目标的检测效果，检测网络的框架还是SSD；在一个实施例中，如步骤301-步骤302所示。
步骤301、将训练数据集中的监控样本图像输入预训练模型；
本实施例中，服务器将训练数据集中的监控样本图像输入预训练模型，训练数据集用于模型拟合的数据样本；由于预训练模型可以为RefineDet模型，预训练模型包括提炼锚模型和目标检测模型，而提炼锚模型和目标检测模型包括conv4_3、conv5_3、fc7、conv6_2四个网络层，输入RefineDet模块的图像，由于卷积层与池化层之间均为局部连接，神经元无法对原始图像的所有信息进行感知，且每经过一次2×2的最大池化层处理，特征图变为原来的一半。随着网络层加深，特征图会越来越小，小尺寸物流托盘的信息也会逐步丢失，提取的特征也更抽象；因此，越高层的特征图对应原始图像的范围越大，包含语义层次更高的特征；越低层的特征图对应原始图像的范围越小，包含的特征更趋向于局部细节；可见，对于近景下较大物流托盘需要更高层的特征图进行检测，而远景下的小尺寸物流托盘可以在更低层的特征图上检测到。
步骤302、调用提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置；
本实施例中，该步骤的目的是产生初始边界框和过滤负样本，在一个实施例中，具体过程如步骤3021-步骤3023所示；
步骤3021、调用提炼锚模型，经过卷积层特征提取后得到不同大小的特征图；
本实施例中，提炼锚模型主要有两个作用，一个是粗分类、另一个是粗定位，粗分类是过滤负样本、减小需要进行分类的样本数量，粗定位是对锚的位置和形状进行调整、使后续的回归器更易实现更高精度的定位；卷积层放在神经网络里，就代表对应的权重，卷积层和图像进行点乘，就代表卷积层里的权重单独对相应位置的像素进行作用，根据神经网络公式进行特征提取，卷积输出的特征图，除了特征值本身外，还包含相对位置信息，卷积运算的方式就是，从左到右，每隔步幅列像素，向右移动一次卷积核进行卷积；从上到下，每隔步幅行像素，向下移动一次卷积核，移动完成。
步骤3022、从特征图中得到多个初始边界框，并基于初始特征图得到两个支路，其中两个支路中一个支路用于坐标回归、另一个支路用于分类；
本实施例中，从特征图中得到多个初始边界框，经坐标回归和分类为特征图的每个点产生的多个初始边界框进行位置偏置预测和正负样本分类，一个输出是分类结果，也就是初始边界框的标签；另一个输出是回归结果，也就是初始边界框的坐标偏移值。
步骤3023、根据两个支路，得到多个初始边界框的坐标回归值和正负样本分类，并滤除部分负样本，以粗略预测物流托盘的位置。
本实施例中，用于指示初始边界框是否为目标边界框，负样本的对象为背景内容，所以将负样本过滤掉，以粗略预测物流托盘的位置。
步骤303、将经过提炼锚模型处理后的特征图传输至目标检测模型，调用目标检测模型以获取物流托盘对应的目标边界框。
本实施例中，目标检测模型是对提炼锚模型得到的anchor再次进行多分类和回归，而提炼锚模型和目标检测模型之间进行连接，将提炼锚模型的特征转换成目标检测模型的特征；目标检测模型直接输出目标边界框的分类和位置坐标偏移量，效率更高；conv4_3、conv5_3为浅层网络层，fc7、conv6_2为高层网络层；对高层网络层的特征图进行上采样处理，上采样的主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上，上采样的三种方式：插值法、反卷积和反池化，例如反卷积是卷积的逆过程实现上采用转置卷积核的方法；将高层网络层的特征图与浅层网络层的特征图进行融合，以增强浅层网络层的特征图的语义信息，以达到更好的检测效果。
在一个实施例中，模型优化包括步骤401-步骤403所示；
步骤401、采用ResNet-101网络为预训练模型的特征提取网络，ResNet-101网络构建四个残差块；
本实施例中，ResNet-101指的是101层网络，首先有个输入7×7×64的卷积，然后经过3+4+23+3＝33个构件，每个块为3层，所以有33×3＝99层，最后有个全连接层，所以1+99+1＝101层；在残差块中，输入可通过跨层的数据线路更快地向前传播。
步骤402、对每个残差块建立两个3×3的卷积层；
本实施例中，每个残差块建立两个3×3的卷积层，为了降低参数的数目，考虑计算的成本，还可以对残差块做计算优化，将两个3×3的卷积层替换为1×1+3×3+1×1，如新结构中的中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算，然后在另一个1×1的卷积层下做了还原，既保持了精度又减少了计算量；当然对于是否做计算优化，本发明不作具体限定；残差块和卷积层的输出通道数量相等，两个卷积层的输出和输入形状相同。
步骤403、在每个卷积层之后添加归一化层，以进行数据的归一化，并加快模型构建速度。
本实施例中，由于网络每一层的输入数据分布是一直在发生变化的，因为在训练的时候，前面层训练参数的更新将导致后面层输入数据分布的变化，所以添加归一化层，先做归一化处理，再进入网络的下一次，以实现数据的归一化，并加快模型构建速度；同时也可以引入变换重构。引入可学习参数γ、β，
Figure BDA0003418227920000081
β(k)＝E[x(k)]。
步骤104、通过验证数据集和测试数据集对目标识别模型依次进行验证并测试，以对物流托盘码放是否规范进行识别，并输出识别结果。
本实施例中，目标识别模型训练完毕后，先采用验证数据集对目标识别模型进行交叉验证，以验证模型是否准确，挑选最优的模型，通过不断的迭代来改善模型在验证数据集上的性能，再通过测试数据集来评估目标识别模型的性能，以最终得到用于物流托盘规范情况识别的目标识别模型，对物流托盘码放是否规范进行识别，并输出识别结果；在对物流托盘码放情况进行识别时，只需获取一张物流托盘的图片，将图片输入目标识别模型中，目标识别模型就可以输出识别结果，识别结果为物流托盘码放规范或物流托盘码放不规范；将识别结果上传至区块链网络中进行存储，由于区块链技术具有不可篡改性使得信息的真实性得到了保证，从而实现确认信息的准确来源，保证物流托盘码放规范情况的识别结果可追溯性。
本发明实施例中，通过获取多张物流托盘的监控样本图像，将多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集，获取预训练模型，利用训练数据集对预训练模型进行训练，并进行模型优化，得到目标识别模型，通过验证数据集和测试数据集对目标识别模型依次进行验证并测试，以对物流托盘码放是否规范进行识别，并输出识别结果；本发明通过目标识别模型对物流托盘码放是否规范进行识别，减少人力成本，提高了物流托盘码放情况识别的准确率和识别效率，降低漏检率，提高工作效率。
请参阅图2，本发明实施例中物流托盘码放识别方法的第二个实施例包括：
步骤201、获取多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
本实施例中，服务器获取多张物流托盘的监控样本图像，由于受到光线等外界因素的影响，会采集到图像指令不高的监控样本图像，会给后续模型识别带来困难；图像增强是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配；而空间域法中具有代表性的算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等，它们可用于去除或减弱噪声；该步骤减少图像中的噪声，提高图像中的对比度，突出物流托盘，使得物流托盘便于区分。
步骤202、对图像增强的各个监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
本实施例中，彩色图像的每个像素由R、G、B(分别指红、绿、蓝)三种颜色分量构成，也称为三通道图像，而灰度图像则称为单通道图像。故三通道彩色图片的单个像素点需要3个字节表示，而单通道灰度图的单个像素点只需1个字节表示；因此灰度化后的图像具有减少计算量、减少训练时间等优点；图像灰度化处理的方法包括根据matlab函数rgb2gray实现、分量法、最大值法、平均值法、加权平均法等，具体实施的方法本发明不作限定，例如最大值法是将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
步骤203、对灰度化的各个监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个监控样本图像进行数据扩充；
本实施例中，将各个监控样本图像尺寸归一化处理，将所有的监控样本图像归一化成相同的尺寸，例如监控样本图像尺寸归一化到48×48，也可以是其他尺寸，本发明不做具体限定；其中数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理，数据扩充的目的是保证模型的有效训练，有效的数据扩充不仅能扩充训练样本数量，还能增加训练样本的多样性，一方面可以避免过拟合，另一方面又会带来模型性能的提升，例如旋转处理是指监控样本图像中以某一点为中心逆时针或者顺时针旋转一定角度。
步骤204、利用LabelImg标注工具对物流托盘在各个监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
本实施例中，物流托盘码放识别中，监控样本图像的标注过程是非常重要的，采用利用LabelImg标注工具，它的作用是在监控样本图像中标注物流托盘位置并对每张图像生成相应的xml文件表示目标标准框的位置，监控样本图像标注越准确，模型的准确度越高。
步骤205、按照比例将标注图像集分割为训练数据集、验证数据集和测试数据集。
本实施例中，将制作好的标注图像集通过脚本代码按照最优比例进行分类，分成训练数据集、验证数据集和测试数据集，比如训练数据集、验证数据集和测试数据集的比例为6:2:2，具体比例本发明不作限定。
本发明实施例中，通过获取多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像，对图像增强的各个监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素，对灰度化的各个监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个监控样本图像进行数据扩充，利用LabelImg标注工具对物流托盘在各个监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集，按照比例将标注图像集分割为训练数据集、验证数据集和测试数据集；本发明对监控样本图像进行处理，提高了物流托盘码放识别的准确度。
请参阅图3，在一个实施例中，提出了一种物流托盘码放识别装置，物流托盘码放识别装置，包括：
获取模块301，用于获取多张物流托盘的监控样本图像，多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
标注模块302，用于将多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
训练模块303，用于获取预训练模型，利用训练数据集对预训练模型进行训练，并进行模型优化，得到目标识别模型；
测试模块304，用于通过验证数据集和测试数据集对目标识别模型依次进行验证并测试，以对物流托盘码放是否规范进行识别，并输出识别结果。
请参阅图4，本发明实施例中物流托盘码放识别装置的第二个实施例，上述标注模块302，具体包括：
获取子模块3021，用于获取多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
增强子模块3022，用于对图像增强的各个监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
扩充子模块3023，用于对灰度化的各个监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个监控样本图像进行数据扩充，其中数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
标注子模块3024，用于利用LabelImg标注工具对物流托盘在各个监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
分割子模块3025，用于按照比例将标注图像集分割为训练数据集、验证数据集和测试数据集。
本发明实施例中，通过获取多张物流托盘的监控样本图像，将多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集，获取预训练模型，利用训练数据集对预训练模型进行训练，并进行模型优化，得到目标识别模型，通过验证数据集和测试数据集对目标识别模型依次进行验证并测试，以对物流托盘码放是否规范进行识别，并输出识别结果；本发明通过目标识别模型对物流托盘码放是否规范进行识别，减少人力成本，提高了物流托盘码放情况识别的准确率和识别效率，降低漏检率，提高工作效率。
上面图3-4从模块化功能实体的角度对本发明实施例中的物流托盘码放识别装置进行详细描述，下面从硬件处理的角度对本发明实施例中物流托盘码放识别设备进行详细描述。
图5是本发明实施例提供的一种物流托盘码放识别设备的结构示意图，该物流托盘码放识别设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对物流托盘码放识别设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在物流托盘码放识别设备500上执行存储介质530中的一系列指令操作。
物流托盘码放识别设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的物流托盘码放识别设备结构并不构成对本申请提供的物流托盘码放识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
一种物流托盘码放识别设备以实现以下物流托盘码放识别方法，所述物流托盘码放识别方法具体包括以下步骤：。
获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
在一个实施例中，获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
在一个实施例中，将所述训练数据集中的所述监控样本图像输入所述预训练模型，所述预训练模型包括提炼锚模型和目标检测模型，所述提炼锚模型和目标检测模型包括conv4_3、conv5_3、fc7、conv6_2四个网络层；
调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置；
将经过所述提炼锚模型处理后的所述特征图传输至所述目标检测模型，调用所述目标检测模型以获取物流托盘对应的目标边界框。
在一个实施例中，调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图；
从所述特征图中得到多个初始边界框，并基于所述初始特征图得到两个支路，其中所述两个支路中一个支路用于坐标回归、另一个支路用于分类；
根据所述两个支路，得到所述多个初始边界框的坐标回归值和正负样本分类，并滤除部分负样本，以粗略预测物流托盘的位置。
在一个实施例中，所述conv4_3、conv5_3为浅层网络层，所述fc7、conv6_2为高层网络层；
对所述高层网络层的特征图进行上采样处理，并与所述浅层网络层的特征图进行融合，以增强所述浅层网络层的特征图的语义信息。
在一个实施例中，采用ResNet-101网络为所述预训练模型的特征提取网络，所述ResNet-101网络构建四个残差块；
对每个所述残差块建立两个3×3的卷积层，其中所述残差块和所述卷积层的输出通道数量相等，所述两个卷积层的输出和输入形状相同；
在每个所述卷积层之后添加归一化层，以进行数据的归一化，并加快模型构建速度。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行以下物流托盘码放识别方法，所述物流托盘码放识别方法具体包括以下步骤：
获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
在一个实施例中，获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
在一个实施例中，将所述训练数据集中的所述监控样本图像输入所述预训练模型，所述预训练模型包括提炼锚模型和目标检测模型，所述提炼锚模型和目标检测模型包括conv4_3、conv5_3、fc7、conv6_2四个网络层；
调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置；
将经过所述提炼锚模型处理后的所述特征图传输至所述目标检测模型，调用所述目标检测模型以获取物流托盘对应的目标边界框。
在一个实施例中，调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图；
从所述特征图中得到多个初始边界框，并基于所述初始特征图得到两个支路，其中所述两个支路中一个支路用于坐标回归、另一个支路用于分类；
根据所述两个支路，得到所述多个初始边界框的坐标回归值和正负样本分类，并滤除部分负样本，以粗略预测物流托盘的位置。
在一个实施例中，所述conv4_3、conv5_3为浅层网络层，所述fc7、conv6_2为高层网络层；
对所述高层网络层的特征图进行上采样处理，并与所述浅层网络层的特征图进行融合，以增强所述浅层网络层的特征图的语义信息。
在一个实施例中，采用ResNet-101网络为所述预训练模型的特征提取网络，所述ResNet-101网络构建四个残差块；
对每个所述残差块建立两个3×3的卷积层，其中所述残差块和所述卷积层的输出通道数量相等，所述两个卷积层的输出和输入形状相同；
在每个所述卷积层之后添加归一化层，以进行数据的归一化，并加快模型构建速度。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种物流托盘码放识别方法，其特征在于，所述物流托盘码放识别方法包括以下步骤：
获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
2.根据权利要求1所述的物流托盘码放识别方法，其特征在于，所述将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集，包括：
获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
3.根据权利要求1所述的物流托盘码放识别方法，其特征在于，所述预训练模型，利用所述训练数据集和所述验证数据集对所述预训练模型进行训练，包括：
将所述训练数据集中的所述监控样本图像输入所述预训练模型，所述预训练模型包括提炼锚模型和目标检测模型，所述提炼锚模型和目标检测模型包括conv4_3、conv5_3、fc7、conv6_2四个网络层；
调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置；
将经过所述提炼锚模型处理后的所述特征图传输至所述目标检测模型，调用所述目标检测模型以获取物流托盘对应的目标边界框。
4.根据权利要求3所述的物流托盘码放识别方法，其特征在于，所述调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图，并粗略预测物流托盘的位置，包括：
调用所述提炼锚模型，经过卷积层特征提取后得到不同大小的特征图；
从所述特征图中得到多个初始边界框，并基于所述初始特征图得到两个支路，其中所述两个支路中一个支路用于坐标回归、另一个支路用于分类；
根据所述两个支路，得到所述多个初始边界框的坐标回归值和正负样本分类，并滤除部分负样本，以粗略预测物流托盘的位置。
5.根据权利要求3所述的物流托盘码放识别方法，其特征在于，所述将经过所述提炼锚模型处理后的所述特征图传输至所述目标检测模型，包括：
所述conv4_3、conv5_3为浅层网络层，所述fc7、conv6_2为高层网络层；
对所述高层网络层的特征图进行上采样处理，并与所述浅层网络层的特征图进行融合，以增强所述浅层网络层的特征图的语义信息。
6.根据权利要求1所述的物流托盘码放识别方法，其特征在于，所述模型优化，包括：
采用ResNet-101网络为所述预训练模型的特征提取网络，所述ResNet-101网络构建四个残差块；
对每个所述残差块建立两个3×3的卷积层，其中所述残差块和所述卷积层的输出通道数量相等，所述两个卷积层的输出和输入形状相同；
在每个所述卷积层之后添加归一化层，以进行数据的归一化，并加快模型构建速度。
7.一种物流托盘码放识别装置，其特征在于，所述物流托盘码放识别装置包括：
获取模块，用于获取多张物流托盘的监控样本图像，所述多张物流托盘的监控样本图像包括有托盘码放规范的图像和托盘未规范码放的图像；
标注模块，用于将所述多张物流托盘的监控样本图像依次进行预处理并标注，分别得到训练数据集、验证数据集和测试数据集；
训练模块，用于获取预训练模型，利用所述训练数据集对所述预训练模型进行训练，并进行模型优化，得到目标识别模型；
测试模块，用于通过所述验证数据集和所述测试数据集对所述目标识别模型依次进行验证并测试，以对所述物流托盘码放是否规范进行识别，并输出识别结果。
8.根据权利要求7所述的物流托盘码放识别装置，其特征在于，所述标注模块，包括：
获取子模块，用于获取所述多张物流托盘的监控样本图像，并采用空间域法来得到特征值增强的图像；
增强子模块，用于对图像增强的各个所述监控样本图像进行图像灰度化处理，将彩色像素转换为灰度像素；
扩充子模块，用于对灰度化的各个所述监控样本图像进行尺寸归一化处理，得到多张尺寸固定的监控样本图像，并对各个所述监控样本图像进行数据扩充，其中所述数据扩充包括翻转处理、旋转处理、抠取处理和/或色彩抖动处理；
标注子模块，用于利用LabelImg标注工具对物流托盘在各个所述监控样本图像中的位置进行标注，并以xml文件格式存储标注信息，得到标注图像集；
分割子模块，用于按照比例将所述标注图像集分割为训练数据集、验证数据集和测试数据集。
9.一种物流托盘码放识别设备，其特征在于，所述物流托盘码放识别设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述物流托盘码放识别设备执行如权利要求1-6中任一项所述的物流托盘码放识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的物流托盘码放识别方法的步骤。
CN202111554470.9A 2021-12-17 2021-12-17 物流托盘码放识别方法、装置、设备及存储介质 Pending CN114219402A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111554470.9A CN114219402A (zh) 2021-12-17 2021-12-17 物流托盘码放识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111554470.9A CN114219402A (zh) 2021-12-17 2021-12-17 物流托盘码放识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114219402A true CN114219402A (zh) 2022-03-22

Family

ID=80703810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111554470.9A Pending CN114219402A (zh) 2021-12-17 2021-12-17 物流托盘码放识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114219402A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116660566A (zh) * 2023-07-26 2023-08-29 四川徕伯益自动化技术有限公司 一种样本液的位置识别方法、系统、终端及介质
CN117236826A (zh) * 2023-11-16 2023-12-15 深圳市普拉托科技有限公司 物流托盘的码放识别方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116660566A (zh) * 2023-07-26 2023-08-29 四川徕伯益自动化技术有限公司 一种样本液的位置识别方法、系统、终端及介质
CN116660566B (zh) * 2023-07-26 2023-10-17 四川徕伯益自动化技术有限公司 一种样本液的位置识别方法、系统、终端及介质
CN117236826A (zh) * 2023-11-16 2023-12-15 深圳市普拉托科技有限公司 物流托盘的码放识别方法、装置、设备及存储介质
CN117236826B (zh) * 2023-11-16 2024-03-19 深圳市普拉托科技有限公司 物流托盘的码放识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
US10963676B2 (en) Image processing method and apparatus
CN114219402A (zh) 物流托盘码放识别方法、装置、设备及存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN112241699A (zh) 物体缺陷类别识别方法、装置、计算机设备和存储介质
CN111275660B (zh) 一种平板显示器缺陷检测方法及装置
JP7198922B2 (ja) タイヤ・サイドウォール撮像方法
US20110268319A1 (en) Detecting and tracking objects in digital images
US20150302270A1 (en) A method of providing a feature descriptor for describing at least one feature of an object representation
CN113302619B (zh) 目标区域评估和特征点评估的系统和方法
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN111767915A (zh) 车牌检测方法、装置、设备及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CN115810005A (zh) 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN114492667A (zh) 图像处理方法、装置、电子设备和存储介质
CN113901941A (zh) 载货车辆的查验方法及装置、电子设备和存储介质
CN110738225B (zh) 图像识别方法及装置
CN113837173A (zh) 目标对象检测方法、装置、计算机设备和存储介质
EP4280118A1 (en) Method and system for generating a data model for text extraction from documents
CN117593610B (zh) 图像识别网络训练及部署、识别方法、装置、设备及介质
US20220292710A1 (en) System and method of detecting at least one object depicted in an image
US20230162489A1 (en) Method of extracting unsuiitable and defective data from plurality of pieces of training data used for learning of machine learning model, information processing device, and non-transitory computer-readable storage medium storing computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination