CN114548868A - 基于机器视觉的仓库堆垛物品盘库计数方法及装置 - Google Patents

基于机器视觉的仓库堆垛物品盘库计数方法及装置 Download PDF

Info

Publication number
CN114548868A
CN114548868A CN202210156816.8A CN202210156816A CN114548868A CN 114548868 A CN114548868 A CN 114548868A CN 202210156816 A CN202210156816 A CN 202210156816A CN 114548868 A CN114548868 A CN 114548868A
Authority
CN
China
Prior art keywords
bbox
target detection
detection model
counting
stacking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210156816.8A
Other languages
English (en)
Inventor
黄必清
陈传军
殷昊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beizisuo Beijing Technology Development Co ltd
Tsinghua University
Original Assignee
Beizisuo Beijing Technology Development Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beizisuo Beijing Technology Development Co ltd, Tsinghua University filed Critical Beizisuo Beijing Technology Development Co ltd
Priority to CN202210156816.8A priority Critical patent/CN114548868A/zh
Publication of CN114548868A publication Critical patent/CN114548868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机视觉技术领域，特别涉及一种基于机器视觉的仓库堆垛物品盘库计数方法及装置，其中，方法包括：通过采集检测堆垛图像数据并划分训练集与验证集；对图像数据进行预处理和数据扩充；使用深度神经网络检测模型对堆垛的正面、顶面进行定位与分类，在训练集上进行训练，直至迭代到达预设条件；使用训练好的网络在线地对其它堆垛图片数据进行检测；通过提出的三维计数算法将深度神经网络得到的检测结果转化为计数结果。从而实现了对仓库堆垛物品的自动盘库计数任务，在有较强的鲁棒性的同时能取得很高的准确率。由此，解决了设备成本或存储成本较高，智能化成度较低，不易推广等问题。

Description

基于机器视觉的仓库堆垛物品盘库计数方法及装置
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种基于机器视觉的仓库堆垛物品盘库计数方法及装置。
背景技术
仓储是现代物流的核心环节。而在人工智能、计算机视觉等技术飞速发展的今天，在仓储信息化、自动化的基础上，仓储技术的发展已经到了智能化的阶段。而在仓储方案的各项功能中，仓库物品盘库计数是至关重要的一环。传统的盘库计数任务多靠仓库管理工人人工完成，这项工作一般在某一段时期集中完成，其对仓库管理工来说具有较大的工作强度，且容易出错。
相关技术中，一些基于RFID(Radio Frequency Identification)的智能盘库的方法，需要对每件仓库中的货物都加以电子标签，在存储一般货物的仓库中这往往难以实现。除此之外，还有使用“视觉比对”方法的盘库系统，但这种方法单纯将地将货物入库时的图片和出库时的图片做一个比对，如果算法认为差距过大就交由人工识别。以上方法都需要较大的设备成本或存储成本，且智能化成度较低，不易推广。
近年来，在计算机视觉领域，基于CNN(Convolutional Neural Network)的目标检测模型层出不穷，它们在自动驾驶、人脸检测、行人检测等诸多领域都被证实能远远胜过传统方法，而现有的视觉目标检测方法并未在仓库盘库清点的领域上得到充分应用。因此，对于基于机器视觉的仓库堆垛物品盘库计数方法有待进一步研究。
申请内容
本申请提供一种基于机器视觉的仓库堆垛物品盘库计数方法及装置，以解决设备成本或存储成本较高，智能化成度较低，不易推广等问题。
本申请第一方面实施例提供一种基于机器视觉的仓库堆垛物品盘库计数方法，包括以下步骤：构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
可选地，在本申请的一个实施例中，所述目标检测模型为基于Faster R-CNN的模型结构，所述基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
可选地，在本申请的一个实施例中，所述将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理，包括：
利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
利用图像水平翻转按照0.5的概率对图像水平进行翻转；
利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
可选地，在本申请的一个实施例中，所述多任务损失包括交叉熵分类损失和边框回归的smoothL1损失，其中，在区域建议网络层中的Anchor的纵横比为{1∶2，1∶1，2∶1}，其尺寸为{8，16，32}。
可选地，在本申请的一个实施例中，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。
可选地，在本申请的一个实施例中，所述密度聚类算法为基于DBSACN的聚类算法，其中，检测框样本间距离表示如下：
Distance1(bbox1，bbox2)＝|y1min-y2min|+|y1max-y2max|，
Distance2(bbox1，bbox2)＝1/|y1min-y2max|+1/|y1max-y2min|，
Distonce(bbox1，bbox2)＝Distance1(bbox1，bbox2)+λDistance2(bbox1，bbox2)，
其中，Distance1(bbox1，bbox2)为两个框的上下边距离之和，Distance2(bbox1，bbox2)第二个距离为上下层框距离惩罚项，Distance(bbox1，bbox2)为Distance1(bbox1，bbox2)和Distance2(bbox1，bbox2)这两个距离的加权和；
并且，所述计数统计算法为：
N＝(Nlayer-1)*Ncargo-perlayer+Ntop，
其中，Ncargo-perlayer是每层堆垛的箱子个数，Nlayer是聚类算法得到的正面的总层数，Ntop是目标检测模型得到的顶层箱子。
本申请第二方面实施例提供一种基于机器视觉的仓库堆垛物品盘库计数装置，包括：模型构建模块，用于构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；数据预处理模块，用于将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；模型训练模块，用于选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；转化模块，用于对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及计数模块，用于利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
可选地，在本申请的一个实施例中，所述目标检测模型为基于Faster R-CNN的模型结构，所述基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
可选地，在本申请的一个实施例中，所述数据预处理模块，具体用于，
利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
利用图像水平翻转按照0.5的概率对图像水平进行翻转；
利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
可选地，在本申请的一个实施例中，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。
由此，本申请至少具有如下有益效果：
通过采集检测堆垛图像数据并划分训练集与验证集；对图像数据进行预处理和数据扩充；使用深度神经网络检测模型对堆垛的正面、顶面进行定位与分类，在训练集上进行训练，直至迭代到达预设条件；使用训练好的网络在线地对其它堆垛图片数据进行检测；通过提出的三维计数算法将深度神经网络得到的检测结果转化为计数结果。从而实现了对仓库堆垛物品的自动盘库计数任务，在有较强的鲁棒性的同时能取得很高的准确率。由此，解决了设备成本或存储成本较高，智能化成度较低，不易推广等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于机器视觉的仓库堆垛物品盘库计数方法的流程图；
图2为根据本申请一个实施例提供的基于视觉的仓库堆垛物品盘库计数方法的目标检测整体网络结构图；
图3为根据本申请一个实施例提供的基于视觉的仓库堆垛物品盘库计数方法的目标检测特征提取网络部分结构图；
图4为根据本申请一个实施例提供的基于视觉的仓库堆垛物品盘库计数方法的执行逻辑示意图；
图5为根据本申请实施例的一种基于机器视觉的仓库堆垛物品盘库计数装置的示例图。
附图标记说明：模型构建模块-100、数据预处理模块-200、模型训练模块-300、转化模块-400以及计数模块500。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的一种基于机器视觉的仓库堆垛物品盘库计数方法、装置、电子设备及存储介质。针对上述背景技术中提到的问题，本申请提供了一种基于机器视觉的仓库堆垛物品盘库计数方法，在该方法中，能够仅用一个堆垛照片对仓库堆垛物品的各个表面进行识别定位，并对检测结果进行计数后处理算法统计，最终实现物品堆垛数目的准确计数，为仓库物品盘库计数任务提出了更高效、更节能的实现方案。由此，解决了设备成本或存储成本较高，智能化成度较低，不易推广等问题。
具体而言，图1为本申请实施例所提供的一种基于机器视觉的仓库堆垛物品盘库计数方法的流程图。
如图1所示，该基于机器视觉的仓库堆垛物品盘库计数方法包括以下步骤：
在步骤S101中，构建对堆垛正面和顶面进行分类及标注的目标检测模型，目标检测模型包括特征提取网络和检测/分类网络。
可选地，在本申请的一个实施例中，目标检测模型为基于Faster R-CNN的模型结构，基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
需要说明的是，在本申请的实施例中，上述目标检测模型是基于两阶段目标检测模型Faster R-CNN(Faster Regions with Convolutional Neural Network)的，其网络结构如图2所示。具体地，在将一个彩色堆垛图片输入目标检测模型后，会先经过一个卷积特征提取网络，通过卷积层和池化层将输入图片变为尺寸更小、通道维度更高的特征图。
在使用特征提取网络提取了特征之后，可以使用RPN(Region ProposalNetwork)，即区域建议网络对得到的特征图进行目标检测和区域定位，使用矩形锚框(anchor)在特征图上标出目标的位置，与训练样本的标注计算IoU距离作对比，从而找到与真实目标接近的初始建议区域ROI(Region of Proposal)。
在对特征图进行建议区域提取后，将建议区域与原特征图共同输入候选区域池化层中，通过ROIPooling操作将不同大小的特征区域归到同一大小，方便之后的分类头和边框回归头做进一步的分类和边框回归操作。
在本申请的实施例中，其特征提取网络部分可以是VGG16，其网络内部具体结构如图3所示。具体地，其中的Conv为3x3卷积层，并对特征图有补零操作；其中的Pooling层为2x2池化层。作为优选，特征网络除VGG16也可选择ResNet、ResNext等网络结构。
其中，分类头为两个级联的全连接层，它的第一层将ROIPooling层提取出的固定大小ROI特征图降维至4096维，第二层将降维之后的特征向量再次降维到预设的分类数(本发明实施例中的分类数为3维，类别包括背景、正面和顶面)，得到最后的分类结果。
其中，边框回归头同样为两个级联的全连接层，第一层将ROIPooling层提取出的固定大小ROI特征图降维至4096维，与分类层共享参数，第二层将降维之后的特征向量再次降维到4倍的预设分类数，4代表原图回归边框坐标中的(ymin,xmin,ymax,xmax)。
在步骤S102中，将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理。
可选地，在本申请的一个实施例中，将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理，包括：利用图像缩放将堆垛图像按照等纵横比缩放至预定大小；利用图像水平翻转按照0.5的概率对图像水平进行翻转；利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
可以理解的是，上述图像缩放、图像水平翻转预处理旨在扩充数据集、增大数据量，直方图均衡旨在平衡输入图片的光照度，一定程度上对复杂低质量工业场景下的堆垛图片进行高质量优化处理。
在步骤S103中，选取预处理后的训练集中任一Batch输入目标检测模型进行前向传播，计算目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型。
可选地，在本申请的一个实施例中，多任务损失包括交叉熵分类损失和边框回归的smoothL1损失，其中，在区域建议网络层中的Anchor的纵横比为{1:2,1：1,2:1}，其尺寸为{8，16，32}。同时，本申请的实施例中，更新结束条件为损失值小于预设阈值或更新次数达到预设更新次数。
具体地，在本申请的实施例中，利用在ImageNet上预训练好的VGG16网络权重作为特征提取网络的初始权重，设置学习率为0.001，采用SGD作为优化器训练网络参数，其中多任务损失函数为：
Figure BDA0003513080490000061
其中，i为训练图片的编号；pi为图片属于哪一类的概率，
Figure BDA0003513080490000062
为图片属于哪一类的标签，ti为图片的边框坐标(ymin，xmin，ymax，xmax)，
Figure BDA0003513080490000063
为其坐标的标签。
其中，Lcls采用交叉熵损失，Lreg采用smooth_L1损失。在本申请的实施例中，λ取值为1。
在步骤S104中，对堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将检测框结果转化为计数结果。
可选地，在本申请的一个实施例中，采用学习率衰减策略，每10个epoch降低一半学习率，共迭代20个epoch。
在步骤S105中，利用堆垛目标检测模型和计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
可选地，在本申请的一个实施例中，密度聚类算法为基于DBSACN修改得到的聚类算法，其中，检测框样本间距离表示如下：
Distance1(bbox1，bbox2)＝|y1min-y2min|+|y1max-y2max|，
Distance2(bbox1，bbox2)＝1/|y1min-y2max|+1/|y1max-y2min|，
Distance(bbox1，bbox2)＝Distonce1(bbox1，bbox2)+λDistance2(bbox1，bbox2)，
其中，第一个距离为两个框的上下边距离之和，第二个距离为上下层框距离惩罚项，目的是尽量让上下两层距离的更远。最终距离为这两个距离的加权和，其中λ取1。
并且，计数算法如下：
N＝(Nlayer-1)*Ncargo-perlayer+Ntop，
其中，Ncargo-perlayer是每层堆垛的箱子个数，是可以提前获得的堆垛信息。Nlayer是聚类算法得到的前表面总层数，Ntop是检测网络得到的顶面检测总数。
具体地，在得到检测结果，即顶面框和正面框的分类与定位结果后，需要将检测结果转化为计数结果。在本申请的实施例中，计数结果的公式建模为：
N＝(Nlayer-1)*Ncargo-perlayer+Ntop
即一个堆垛中的物体数目可以表示为堆垛总层数减一乘以每层堆垛的个数，再加上顶层堆垛的个数。这是基于堆垛物体摆放必须摆慢下一层才会摆上一层的先验得到的。而其中的Ncargo-perlayer是可以提前获得的堆垛信息。因此本算法关键在于获得剩余的两个参数Nlayer、Ntop。
其中，顶层箱子的计数结果即为检测模型中得到的顶面检测结果的总和。堆垛总层数需要对检测模型得到的正面检测结果做一个分层算法，本申请的实施例采用基于密度的聚类算法对其进行举例，具体算法如表1所示。
表1基于密度的聚类算法
Figure BDA0003513080490000071
其中，对于两个检测框bbox(ymin,xmin,ymax,xmax)样本的距离定义如下：
Distance1(bbox1，bbox2)＝|y1min-y2min|+|y1max-y2max|
Distance2(bbox1，bbox2)＝1/|y1min-y2max|+1/|y1max-y2min|
Distance(bbox1，bbox2)＝Distance1(bbox1，bbox2)+λDistance2(bbox1，bbox2)
其中，第一个距离为两个框的上下边距离之和，第二个距离为上下层框距离惩罚项，目的是尽量让上下两层距离的更远。最终距离为这两个距离的加权和，其中λ取1。
下面通过一个具体实施例对本申请的一种基于机器视觉的仓库堆垛物品盘库计数方法进行详细说明。
图4展示了本申请实施例的基于机器视觉的仓库堆垛物品盘库计数方法的执行逻辑，如图4所示，本申请的实施例的仓库堆垛物品盘库计数方法具体包括以下步骤：
步骤一、基于深度神经网络目标检测模型构建对堆垛正面、顶面的两类目标检测模型。目标检测模型包括特征提取网络、和检测/分类网络。
步骤二、将训练集、验证集划分为设定大小的Batch，并进行图像缩放、图像水平翻转和图像直方图均衡的预处理。
步骤三、选取训练集中任一Batch，通过目标检测网络对输入数据进行前向传播，计算输出值与标签的多任务损失，基于损失值和预设优化器反向传播更新模型权重。
步骤四、重复步骤三直至损失低于所设阈值或达到设定的训练次数，得到最终的堆垛目标检测模型。
步骤五、对目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将检测结果转化为计数结果。
步骤六、利用训练好的深度神经网络模型和计数算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
线下阶段：采集训练需要的堆垛图像，并划分训练样本、验证样本；构建如图2的深度目标检测神经网络模型，将训练样本、验证样本分别预处理；使用训练集对神经网络模型进行前向传播训练，并将训练误差进行反向传播，在每一轮迭代完成后计算神经网络模型并在验证集上预测目标检测的精度，直至到达预设的训练步骤；利用训练好的深度神经网络模型给出的目标检测结果，对正表面框进行密度聚类，根据聚类实际效果选定密度聚类阈值；综合正面聚类结果和顶面检测结果给出最终堆垛计数结果。
线上阶段：对仓库堆垛机上的摄像头实时获取的堆垛图片进行与训练阶段相同的设置，得到检测框结果。并利用密度聚类算法对正面检测结果进行分层，这样的结果是对底层漏检的情况有一定的鲁棒性的。将分层得到的层数与顶面检测到的顶面数做一个计算后得到最终计数结果。
根据本申请实施例提出的一种基于机器视觉的仓库堆垛物品盘库计数方法，能够有效地解决仓库盘库任务中的堆垛物品高效计数问题。通过深度神经网络目标检测模型对堆垛的正面和顶面进行检测和定位，并使用基于密度聚类的分层算法对检测结果框进行计数得到最终结果，可以仅通过堆垛机上加装的一个摄像头完全做到对仓库堆垛物品的实时在线计数。同时，本申请的实施例相比于其他盘库计数方法不需要对仓储物品额外添加电子标签、也不需要任何人力参与，需要计算成本、存储成本更低，具有较强的可推广性。
其次参照附图描述根据本申请实施例提出的一种基于机器视觉的仓库堆垛物品盘库计数装置。
图5为根据本申请实施例的一种基于机器视觉的仓库堆垛物品盘库计数装置的示例图。
如图5所示，该基于机器视觉的仓库堆垛物品盘库计数装置10包括：模型构建模块100、数据预处理模块200、模型训练模块300、转化模块400以及计数模块500。
其中，模型构建模块100，用于构建对堆垛正面和顶面进行分类及标注的目标检测模型，目标检测模型包括特征提取网络和检测/分类网络；数据预处理模块200，用于将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；模型训练模块300，用于选取预处理后的训练集中任一Batch输入目标检测模型进行前向传播，计算目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；转化模块400，用于对堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将检测框结果转化为计数结果；以及计数模块500，用于利用堆垛目标检测模型和计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
可选地，在本申请的一个实施例中，目标检测模型为基于Faster R-CNN的模型结构，基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
可选地，在本申请的一个实施例中，数据预处理模块200，具体用于，
利用图像缩放将堆垛图像按照等纵横比缩放至预定大小；
利用图像水平翻转按照0.5的概率对图像水平进行翻转；
利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
可选地，在本申请的一个实施例中，更新结束条件包括：损失值小于预设阈值或更新次数达到预设更新次数。
需要说明的是，前述对基于机器视觉的仓库堆垛物品盘库计数方法实施例的解释说明也适用于该实施例的基于机器视觉的仓库堆垛物品盘库计数装置，此处不再赘述。
根据本申请实施例提出的一种基于机器视觉的仓库堆垛物品盘库计数装置，通过一个摄像头以及足量的数据支撑(这在堆垛物品很多的仓库里是可以简单获得的)，完全实现对仓库堆垛物品的高效实时计数，不需要额外的人力辅助，能够有效节约劳动力、减轻仓库管理员工作负担。本申请的实施例也不需要过多硬件资源上的消耗。不需要对仓储物品额外添加电子标签、也不需要使用RFID的扫描仪器，需要计算成本、存储成本更低，具有较强的可推广性。具有较强的鲁棒性。同时，本申请的实施例对输入图片数据先进行预处理，增强网络对输入数据的输出鲁棒性；而后计数算法对底层漏检、错检也有较好的过滤结果，一定程度上可以避免计数错误，可以获得准确率较高的结果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

Claims (10)

1.一种基于机器视觉的仓库堆垛物品盘库计数方法，其特征在于，包括以下步骤：
构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；
将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；
选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；
对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及
利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
2.根据权利要求1所述的方法，其特征在于，所述目标检测模型为基于Faster R-CNN的模型结构，所述基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
3.根据权利要求1所述的方法，其特征在于，所述将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理，包括：
利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
利用图像水平翻转按照0.5的概率对图像水平进行翻转；
利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
4.根据权利要求1所述的方法，其特征在于，所述多任务损失包括交叉熵分类损失和边框回归的smoothL1损失，其中，在区域建议网络层中的Anchor的纵横比为{1:2,1：1,2:1}，其尺寸为{8,16，32}。
5.根据权利要求1所述的方法，其特征在于，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。
6.根据权利要求1所述的方法，其特征在于，所述密度聚类算法为基于DBSACN的聚类算法，其中，检测框样本间距离表示如下：
Distance1(bbox1,bbox2)＝|y1min-y2min|+|y1max-y2max|，
Distance2(bbox1,bbox2)＝1/|y1min-y2max|+1/|y1max-y2min|，
Distance(bbox1,bbox2)＝Distance1(bbox1,bbox2)+λDistance2(bbox1,bbox2)，
其中，Distance1(bbox1,bbox2)为两个框的上下边距离之和，Distance2(bbox1,bbox2)第二个距离为上下层框距离惩罚项，Didtance(bbox1,bbox2)为Didtance1(bbox1,bbox2)和Distance2(bbox1,bbox2)这两个距离的加权和；
并且，所述计数统计算法为：
N＝(Nlayer-1)*Ncargo-perlayer+Ntop，
其中，Ncargo-perlayer是每层堆垛的箱子个数，Nlayer是聚类算法得到的正面的总层数，Ntop是目标检测模型得到的顶层箱子。
7.一种基于机器视觉的仓库堆垛物品盘库计数装置，其特征在于，包括：
模型构建模块，用于构建对堆垛正面和顶面进行分类及标注的目标检测模型，所述目标检测模型包括特征提取网络和检测/分类网络；
数据预处理模块，用于将堆垛图像的训练集和验证集划分为预定大小的Batch，并进行预处理；
模型训练模块，用于选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播，计算所述目标检测模型的输出值与分类标签的多任务损失，基于损失值和预设优化器反向传播更新所述目标检测模型的权重，通过多次更新直至满足更新结束条件得到堆垛目标检测模型；
转化模块，用于对所述堆垛目标检测模型得到的检测框结果，使用基于密度的聚类的计数统计算法将所述检测框结果转化为计数结果；以及
计数模块，用于利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物品盘库计数。
8.根据权利要求7所述的装置，其特征在于，所述目标检测模型为基于Faster R-CNN的模型结构，所述基于Faster R-CNN的模型结构的特征提取网络为VGG16网络、ResNet网络或ResNeXt网络。
9.根据权利要求7所述的装置，其特征在于，所述数据预处理模块，具体用于，
利用图像缩放将堆垛图像按照等纵横比缩放至所述预定大小；
利用图像水平翻转按照0.5的概率对图像水平进行翻转；
利用直方图均衡算法为对全图HSV空间中的亮度V分量作直方图均衡。
10.根据权利要求7所述的装置，其特征在于，所述更新结束条件包括：所述损失值小于预设阈值或更新次数达到预设更新次数。
CN202210156816.8A 2022-02-21 2022-02-21 基于机器视觉的仓库堆垛物品盘库计数方法及装置 Pending CN114548868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210156816.8A CN114548868A (zh) 2022-02-21 2022-02-21 基于机器视觉的仓库堆垛物品盘库计数方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210156816.8A CN114548868A (zh) 2022-02-21 2022-02-21 基于机器视觉的仓库堆垛物品盘库计数方法及装置

Publications (1)

Publication Number Publication Date
CN114548868A true CN114548868A (zh) 2022-05-27

Family

ID=81676526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210156816.8A Pending CN114548868A (zh) 2022-02-21 2022-02-21 基于机器视觉的仓库堆垛物品盘库计数方法及装置

Country Status (1)

Country Link
CN (1) CN114548868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344050A (zh) * 2022-09-15 2022-11-15 安徽工程大学 一种基于改进的聚类算法堆垛机路径规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115344050A (zh) * 2022-09-15 2022-11-15 安徽工程大学 一种基于改进的聚类算法堆垛机路径规划方法
CN115344050B (zh) * 2022-09-15 2024-04-26 安徽工程大学 一种基于改进的聚类算法堆垛机路径规划方法

Similar Documents

Publication Publication Date Title
US11971726B2 (en) Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN111553387B (zh) 一种基于Yolov3的人员目标检测方法
Hoiem et al. Recovering surface layout from an image
CN111489358A (zh) 一种基于深度学习的三维点云语义分割方法
CN113239924B (zh) 一种基于迁移学习的弱监督目标检测方法及系统
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN111461209A (zh) 一种模型训练装置和方法
CN112115291B (zh) 一种基于深度学习的三维室内模型检索方法
CN112580647A (zh) 一种面向堆叠物体的识别方法及系统
CN109919112B (zh) 一种复杂场景中流动人群的分布与计数检测的方法
CN114648665A (zh) 一种弱监督目标检测方法及系统
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN116091892A (zh) 一种基于卷积神经网络的快速目标检测方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN114387608B (zh) 一种联合卷积与图神经网络的表格结构识别方法
CN114548868A (zh) 基于机器视觉的仓库堆垛物品盘库计数方法及装置
CN114358133A (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
Hoiem Seeing the world behind the image
CN110580299B (zh) 生成对象的推荐语的配图的方法、系统、设备及存储介质
CN113095235B (zh) 一种基于弱监督判别机制的图像目标检测方法、系统及装置
Wang et al. FRCA: High-efficiency container number detection and recognition algorithm with enhanced attention
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN114220082A (zh) 一种车道线识别方法、装置和计算机可读存储介质
Li et al. Combining shape and appearance for automatic pedestrian segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination