CN113392747A - 一种用于立体仓库的货物包装箱识别方法及系统 - Google Patents

一种用于立体仓库的货物包装箱识别方法及系统 Download PDF

Info

Publication number
CN113392747A
CN113392747A CN202110628600.2A CN202110628600A CN113392747A CN 113392747 A CN113392747 A CN 113392747A CN 202110628600 A CN202110628600 A CN 202110628600A CN 113392747 A CN113392747 A CN 113392747A
Authority
CN
China
Prior art keywords
packing box
corner
packing
image
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110628600.2A
Other languages
English (en)
Inventor
李继凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Uwonders Technology Co ltd
Original Assignee
Beijing Uwonders Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Uwonders Technology Co ltd filed Critical Beijing Uwonders Technology Co ltd
Priority to CN202110628600.2A priority Critical patent/CN113392747A/zh
Publication of CN113392747A publication Critical patent/CN113392747A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Abstract

本发明公开了一种用于立体仓库的货物包装箱识别方法及系统,涉及仓储物流技术领域,该方法包括以下步骤:包装箱图像采集,实时采集货物运过程中的包装箱图像;包装箱角点检测,将所述包装图像输入包装箱角点检测模型中,得到标记了所述包装箱图像中所有包装箱角点的角点检测图像;包装箱对齐矫正,将所述角点检测图像输入包装箱对齐矫正模型中,输出所述角点检测图像中每一个包装箱所对应的图像;包装箱分类识别,将上一步所获得的每一个包装箱所对应的图像输入到包装箱分类识别模型中,得到所述包装箱图像中每一个包装箱类别。本发明可高效率、自动化地实现高架货箱的快速识别,同时具有较好的鲁棒性能,可以应用于不同的仓储环境。

Description

一种用于立体仓库的货物包装箱识别方法及系统
技术领域
本发明涉及物流仓储技术领域,具体涉及一种用于立体仓库的货物包装箱识别方法及系统。
背景技术
随着现代物流的快速发展,物流自动化和信息化程度不断提高,近几年现在物流信息技术和物联网等技术在物流系统中得到广泛应用,而集成各类物流信息技术和自动化技术的立体仓库在国内各行业得到了迅猛发展,并已成为现代物流系统的重要组成部分,立体仓库一般指由高层货架、物料搬运设备、控制和管理设备及公用设施等部分组成的,并用自动化物料搬运设备进行货物出、入库作业的仓库。已在烟草、医药、电子商务、汽车、规模零售等诸多行业中得以广泛的推广和应用。
立体仓库一般是指采用几层、十几层乃至几十层高的货架储存单元货物构成,在高架货架仓储管理中有大量的货物识别、货物定位、货物复核等操作,现有技术中,立体仓储对于不同产品包装箱分类的识别,一般采用机器视觉技术及射频识别技术,其中机器视觉技术通过机器视觉产品将被摄取目标转换成图像信息,传送给专用的图像处理系统,进而根据系统判别结果来控制设备运作;射频识别技术通过无线射频方式进行非接触双向数据通信方式,对目标加以识别并获取相关数据,识别工作无需人工干预。然而这些方法常常会因为包装箱摆放的随意性和光线不理想等原因将直接导致识别效果不理想,方法鲁棒性不高。
同时对高架库内的不同产品货箱缺乏自动化复核系统、这些操作如单纯人工完成,工作量巨大、效率低下且差错率较大,尤其对于高层货架,没有堆垛机等设备难以实现相关的货物识别、货物定位、货物复核等工作,人员进入高架库区复核效率低且存在安全隐患。
发明内容
针对现有技术存在的问题,本发明提出一种用于立体仓库的货物包装箱识别方法及系统。
第一方面,本发明提供一种用于立体仓库的货物包装箱识别方法,具体包括以下步骤:
步骤一,包装箱图像采集,通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
步骤二,包装箱角点检测,将所述包装图像输入包装箱角点检测模型中,得到标记了所述包装箱图像中所有包装箱角点的角点检测图像;
步骤三,包装箱对齐矫正,将所述角点检测图像输入包装箱对齐矫正模型中,输出所述角点检测图像中每一个包装箱所对应的图像;
步骤四,包装箱分类识别,将经过所述步骤三处理得到的每一个包装箱所对应的图像输入到包装箱分类识别模型中,得到所述包装箱图像中每一个包装箱类别;
还包括所述包装箱角点检测模型及所述包装箱分类识别模型训练步骤。
进一步的,所述包装箱角点检测模型用于对所述包装箱图像中所有包装箱的角点进行识别,得到角点坐标,并对所述角点进行分类,将属于同一包装箱的角点标记为同一类型。
进一步的,所述包装箱角点检测模型由一个端到端的检测神经网络组成,所述神经网络包括特征提取模块和四个单角点预测模块;所述特征提取模块用于提取整个图像的特征用于后续的单个角点预测;所述四个单角点预测模块分别为左上角预测模块、左下角预测模块、右上角预测模块、右下角预测模块;所述单角点预测模用于预测角点的坐标,每个所述单角点预测模块包含一个角点池化层,用于生成角点热力图、角点嵌入向量和角点偏差。
进一步的,所述角点热力图用于获得属于同一包装箱的预测角点;所述角点嵌入向量用于判断所述预测角点是否属于同一包装箱,得到属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标;通过所述角点偏差使得所述属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标得到的框更加紧贴包装箱的边框。
进一步的,所述特征提取模块是由至少1个沙漏状神经网络组成。
进一步的,所述包装箱对齐模型的变换公式如下,
Figure BDA0003102799460000021
Figure BDA0003102799460000022
其中,u,v代表所述角点检测图像坐标,x,y为经过变换获得的图片坐标;变换矩阵为3*3,它可以拆分为四个部分[a11,a12,a21,a22]为线性变换的矩阵,[a31,a32]为平移矩阵,这两个矩阵等价于透视变换的变换矩阵;[a13,a23]T为产生透视变换的矩阵,因此变换公式也可以表示为,
Figure BDA0003102799460000031
Figure BDA0003102799460000032
进一步的,所述包装箱分类识别模型中,得到的所述包装箱类别为所述包装箱对应的产品的类别。
进一步的,所述包装箱分类识别模型采用卷积神经的残差结构。
第二方面,本发明提供一种用于立体仓库的货物包装箱识别系统,包括:
包装箱图像采集模块,用于通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
包装箱角点检测模块,用于通过包装箱角点检测模型,获取标记了所述包装箱图像中所有包装箱角点的角点检测图像;
包装箱对齐矫正模块,用于获取所述角点检测图像中每一个包装箱所对应的图像;
包装箱分类识别模块,用于通过包装箱分类识别模型,获取所述包装箱图像中每一个包装箱类别;
包装箱角点检测模型训练模块,用于所述包装箱角点检测模型的训练;
包装箱分类识别模型训练模块,用于所述包装箱分类识别模型的训练。
第三方面,本发明提供一种用于立体仓库的货物包装箱识别装置,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现所述一种用于立体仓库的货物包装箱识别方法的步骤。
第四方面,本发明提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现所述一种用于立体仓库的货物包装箱识别方法的步骤。
本发明的有益效果在于:本发明通过设置于立体仓库货物搬运装置上方的摄像头进行包装箱图像采集,所采集的图像清晰,一边码垛一边实时采集货箱图像,解决了高架货箱识别精度低、人工操作危险性高的问题,可高效率、自动化地实现立体仓库高架货箱的快速识别,具有降低工作人员工作量,且提高工作效率。另一方面,本发明方案综合了图像处理技术、深度学习、机器学习与模式识别技术、目标检测和分类识别技术,在位置随意性摆放的目标和光线环境不理想的条件下,仍然能够保证包装箱的识别结果,该方法具有较好的鲁棒性能,可以应用于不同的仓储环境。
附图说明
图1为本发明实施例提供的一种用于立体仓库的货物包装箱识别方法的流程示意图;
图2为本发明实施例步骤S1采集的货箱图像;
图3为本发明实例步骤S2包装箱角点检测模型的结构示意图;
图4为本发明实施例步骤S3输入及输出图像示意图;
图5本发明实施例提供的一用于立体仓库的货物包装箱识别系统组成框图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了克服现有技术的问题,本发明提供了一种用于立体仓库的货物包装箱识别方法,融合了图像处理技术、深度学习、机器学习与模式识别技术、目标检测和分类识别技术,实现高精度的包装箱识别。
下面结合附图对本发明方法进行进一步详细说明;
如图1所示一种用于立体仓库的货物包装箱识别方法,具体包括以下步骤:
S1:包装箱图像采集,通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
S2:包装箱角点检测,将所述包装图像输入包装箱角点检测模型中,得到标记了所述包装箱图像中所有包装箱角点的角点检测图像;
S3:包装箱对齐矫正,将所述角点检测图像输入包装箱对齐矫正模型中,输出所述角点检测图像中每一个包装箱所对应的图像;
S4:包装箱分类识别,将经过所述步骤三处理得到的每一个包装箱所对应的图像输入到包装箱分类识别模型中,得到所述包装箱图像中每一个包装箱所对应的产品类别;
还包括所述包装箱角点检测模型及所述包装箱分类识别模型训练步骤。
步骤S1,为了解决高架货架包装箱采集图像清晰度不够,以及光线、遮挡物等对识别精度的影响通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像,摄像头是安装到仓库货物搬运装置机械臂正上方,所采集到的图像如图2所示,所拍摄的图片由于从正上方拍摄,可以清晰地对包装箱的四个角点进行拍摄,图像中单个货箱的角点数不会大于4。
步骤S2,所述包装箱角点检测模型用于对所述包装箱图像中所有包装箱的角点进行识别,得到角点坐标,并对所述角点进行分类,将属于同一包装箱的角点标记为同一类型。
本发明实例步骤S2包装箱角点检测模型的结构进行详细说明:
如图3所示,步骤S2中包装箱角点检测模型由一个端到端的检测神经网络组成,所述神经网络包括特征提取模块和四个单角点预测模块;所述特征提取模块用于提取整个图像的特征用于后续的单个角点预测;所述四个单角点预测模块分别为左上角预测模块、左下角预测模块、右上角预测模块、右下角预测模块;所述单角点预测模用于预测角点的坐标,每个所述单角点预测模块包含一个角点池化层,用于生成角点热力图、角点嵌入向量和角点偏差。
步骤S2,所述特征提取模块是由至少1个沙漏状神经网络组成,需根据实际应用场景来确定用几个组成。
本发明实施例中,特征提取模块是由2沙漏状神经网络组成。
本发明实施中,还包括包装箱角点检测模型的训练步骤,具体训练过程如下:
首先:根据样本训练需求,采集若干张包含有包装箱的图像,本发明实施例中收集了5000张含有包装箱的图像;
其次;将每个包装箱的四个角点的坐标手动标记出来;
再次:设计网络模型,包装箱检测模型如图3所示,采用特征提取模块2个沙漏组合的网络结构;
接着:将第二步标记的坐标采用高斯模糊的方式生成真实的热力图,公式如下:
Figure BDA0003102799460000061
其中,x和y表示以第二步标记的真实角点坐标为中心,半径为r的圆中所有点,
Figure BDA0003102799460000062
然后:设计包装箱角点检测模型的误差函数,误差函数如下:
L=Ldetoff*Loff+(ωpull*Lpullpush*Lpush)
其中,ωpull=ωpush=0.1,ωoff=1.0。
Figure BDA0003102799460000063
Figure BDA0003102799460000064
其中hi,j是预测的值,yi,j是真实值,α=2,β=4,W×H表示热力图的分辨率,N表示角点的数量,不区分位置。
Figure BDA0003102799460000065
Figure BDA0003102799460000066
其中,
Figure BDA0003102799460000067
表示预测的值,
Figure BDA0003102799460000068
表示真实的值,N表示角点的总数。
Figure BDA0003102799460000069
其中,N表示角点的总数,tl表示左上角点,tr表示右上角点,bl表示左下角点,br表示右下角点。ei(ki)表示第k个目标的i个类型的角点。
Figure BDA00031027994600000610
Figure BDA00031027994600000611
其中e(*)表示某一个目标的四个角点的平均嵌入向量,
Figure BDA00031027994600000612
最后:采用方向传播的方式训练神经网络的参数,直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练,获得包装箱角点检测模型。
步骤S2,所述角点热力图用于获得属于同一包装箱的预测角点;所述角点嵌入向量用于判断所述预测角点是否属于同一包装箱,得到属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标;通过所述角点偏差使得所述属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标得到的框更加紧贴包装箱的边框。
将步骤S1采集的包装箱图像输入包装箱角点检测模型生成角点热力图、角点嵌入向量和角点偏差,根据生成结果,实现包装箱图像中每一个包装箱所对应的角点的分类及标记。本发明实施例中,将属于同一包装箱的角点标记为同一类型,得到标记了所述包装箱图像中所有包装箱角点的角点检测图像,其具体实现步骤为:
第一步:对每个角点的热力图采用3x3的最大池化运算,并采用非极大抑制对角点做剔除,选择前5个得分最大的角点坐标,得到属于同一包装箱的预测角点。
第二步:根据第一步获得的于同一包装箱的预测角点的坐标所对应的嵌入向量,采用L1范围计算相似度,剔除得分大于0.5的角点坐标,得到同一包装箱的左上角、左下角、右上角和右下角四个角点坐标;
第三步:采用包装箱角点检测模型生成的角点偏差对属于同一包装箱的预测角点的坐标进行矫正。预测的角点坐标为(x,y),预测的偏移量(Δx,Δy),那么矫正的角点坐标为((x+Δx)*n,(x+Δx)*n),n为角点预测模型的下采样的倍数;
第四步:将配对成功的角点坐标,即属于同一包装箱的角点标记为同一类型,并将属于同一包装箱的四个角点对应的热力图的值的平均值作为检测得分,这个得分用于描述此包装箱坐标对的置信度。
本发明实施例中,步骤S3包装箱对齐矫正,对步骤S2得到的角点检测图像中每一个包装箱图像进行输出,包装箱对齐模型的变换公式如下,
Figure BDA0003102799460000071
Figure BDA0003102799460000072
其中,u,v代表所述角点检测图像坐标,x,y为经过变换获得的图片坐标;变换矩阵为3*3,它可以拆分为四个部分[a11,a12,a21,a22]为线性变换的矩阵,[a31,a32]为平移矩阵,这两个矩阵等价于透视变换的变换矩阵;[a13,a23]T为产生透视变换的矩阵,因此变换公式也可以表示为,
Figure BDA0003102799460000081
Figure BDA0003102799460000082
标准坐标根据所述装箱分类识别模型输入大小确定,所述装箱分类识别模型输入是大小为n×n,则所述标准坐标就是[0,0],[0,n-1],[n-1,0],[n-1,n-1]。
本实施例中,所述装箱分类识别模型输入是大小为224x224,所以坐标就是[0,0],[0,223],[223,0],[223,223]。分别将步骤S2得到的所述角点检测图像中每一个包装箱的四个角点坐标向这四个标准坐标做矫正对齐。
如图4所示为本发明实施例步骤S3输入及输出图像示意图,角点检测图像里面有2个包装箱,经过步骤S3对齐矫正后输出2张单独的包装箱图像。
步骤S4,利用包装箱分类识别模型,实现包装箱类别的识别。
包装箱分类识别模型,根据包装箱采集的包装箱表面的图像特征对包装箱进行分类识别,可以根据包装箱表面图像中显示的包装箱表面材质特征,实现包装箱材料的分类识别,也可以根据包装箱表面图像显示的产品类别标识,进行不同产品的类别识别。
包装箱分类模型的结构包括但不限于卷积神经网络(CNN)、递归神经网络(RNN、LSTM、GRU)和延时神经网络(TDNN)中的一种或者多种网络的组合。
本发明实施例中,包装箱分类识别模型采用卷积神经的残差结构,为了实现包装箱分类识别模型的精准识别,本实施例还包括包装箱分类识别模型的训练,具体训练步骤如下:
第一步:本实施例以香烟仓储为例,训练过程中收集五类不同产品的包装箱的数据集,数据集中数据为包装箱待识别表面图像,本实施例中,选择包装箱正表面图像,即印刷有产品类别标识图像的包装箱图像,每类数量1000张,这五类香烟产品分别为中华、红塔山、娇子、玉溪和红梅;
第二步:设计一个Resnet50的残差网络,作为包装箱分类识别模型,并设置最后输出层的网络节点为5,5表述烟箱的类别,损失函数采用交叉熵。
第三步:采用方向传播的方式训练神经网络的参数,直到网络达到我们设定的最大迭代次数或者最小误差之后结束网络训练,获包装箱分类识别模型。
将经过步骤S3对齐矫正后输出2张单独的包装箱图像输入包装箱分类识别模型,获得单独的包装箱图像对应的产品的类别。
可根据不同仓储应用环境的需要,可以根据仓储的产品实际情况进行模型的训练,在另一实施例中有1000类不同产品的包装箱,模型分类器的输出就有1000类,对于任何一张图像,我的分类器都会输出一个1000维的概率向量,找出最大的值所在的位置就是包装箱对应的产品的类别。
本发明实施例通过设置于立体仓库货物搬运装置上方的摄像头进行包装箱图像采集,所采集的图像清晰,一边码垛一边实时采集货箱图像,解决了高架货箱识别精度低、人工操作危险性高的问题,可高效率、自动化地实现立体仓库高架货箱的快速识别,具有降低工作人员工作量,且提高工作效率。另一方面,本发明实施例综合了图像处理技术、深度学习、机器学习与模式识别技术、目标检测和分类识别技术,在位置随意性摆放的目标和光线环境不理想的条件下,仍然能够保证包装箱的识别结果,该方法具有较好的鲁棒性能,可以应用于不同的仓储环境。
为了有效提高立体仓库的高架货架的货物包装的识别过程的准确性及可靠性,且能够有效提高在高架货架的货物包装的识别过程的自动化程度及效率,本申请提供一种用于立体仓库的货物包装箱识别方法中全部或部分内容的一种用于立体仓库的货物包装箱识别系统的实施例,参见图5,所述系统包含有如下内容,
包装箱图像采集模块,用于通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
包装箱角点检测模块,用于通过包装箱角点检测模型,获取标记了所述包装箱图像中所有包装箱角点的角点检测图像;
包装箱对齐矫正模块,用于获取所述角点检测图像中每一个包装箱所对应的图像;
包装箱分类识别模块,用于通过包装箱分类识别模型,获取所述包装箱图像中每一个包装箱类别;
包装箱角点检测模型训练模块,用于所述包装箱角点检测模型的训练;
包装箱分类识别模型训练模块,用于所述包装箱分类识别模型的训练。
本实施中的一种用于立体仓库的货物包装箱识别系统实现了自动化识别且成本低廉、简单便捷、效果明显,其应用解决了高架货箱识别精度低、人工操作危险性高的问题,可高效率、自动化地实现立体仓库高架货箱的快速识别,具有降低工作人员工作量,且提高工作效率。
为了有效提高立体仓库的货物包装箱识别的准确性及可靠性,实现识别过程的自动化程度及效率,本申请提供一种用于立体仓库的货物包装箱识别方法中的全部或部分内容的装置,所述装置具体包含有如下内容,
处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现所述一种用于立体仓库的货物包装箱识别方法的步骤。
通信接口和总线;其中,所述处理器、存储器通过通信接口和总线完成相互间的通信;该终端可以是台式计算机、平板电脑及移动终端等。
具体实现中,本申请还提供一种计算机存储介质,其中,该计算机存储介质可存储有计算机程序,该计算机程序被处理器执行时可实现包括本申请提供一种用于立体仓库的货物包装箱识别方法的部分或全部步骤。所述计算机存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random accessmemory,简称:RAM)等。
根据本实施方式的用于判断传送带上是否有人的方法利用基于卷积神经网络的检测算法检测人员和传送带主体区域;然后利用霍夫直线检测算法检测图像中指定方向的边缘线;对检测到的边缘线进行局部非极大值抑制操作;根据检测到的传送带主体区域和非极大值抑制后的线段之间的位置关系,确定传送带的两条边缘线;根据是否有人员出现在传送带的两条边缘线之间,判断是否有人员站在传送带上。该方法实现了自动化识别且成本低廉、简单便捷、效果明显,其应用可以为烟叶收购行业减少成本,减少违规行为的出现,降低相应的经济损失。
以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种用于立体仓库的货物包装箱识别方法,其特征在于,所述方法包括以下步骤:
步骤一,包装箱图像采集,通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
步骤二,包装箱角点检测,将所述包装图像输入包装箱角点检测模型中,得到标记了所述包装箱图像中所有包装箱角点的角点检测图像;
步骤三,包装箱对齐矫正,将所述角点检测图像输入包装箱对齐矫正模型中,输出所述角点检测图像中每一个包装箱所对应的图像;
步骤四,包装箱分类识别,将经过所述步骤三处理得到的每一个包装箱所对应的图像输入到包装箱分类识别模型中,得到所述包装箱图像中每一个包装箱类别;
还包括所述包装箱角点检测模型及所述包装箱分类识别模型训练步骤。
2.根据权利要求1所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述包装箱角点检测模型用于对所述包装箱图像中所有包装箱的角点进行识别,得到角点坐标,并对所述角点进行分类,将属于同一包装箱的角点标记为同一类型。
3.根据权利要求2所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述包装箱角点检测模型由一个端到端的检测神经网络组成,所述神经网络包括特征提取模块和四个单角点预测模块;所述特征提取模块用于提取整个图像的特征用于后续的单个角点预测;所述四个单角点预测模块分别为左上角预测模块、左下角预测模块、右上角预测模块、右下角预测模块;所述单角点预测模用于预测角点的坐标,每个所述单角点预测模块包含一个角点池化层,用于生成角点热力图、角点嵌入向量和角点偏差。所述角点热力图用于获得属于同一包装箱的预测角点;所述角点嵌入向量用于判断所述预测角点是否属于同一包装箱,得到属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标;通过所述角点偏差使得所述属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标得到的框更加紧贴包装箱的边框。
4.根据权利要求3所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述特征提取模块是由至少1个沙漏状神经网络组成。
5.根据权利要求1所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述包装箱对齐模型的变换公式如下,
Figure FDA0003102799450000021
Figure FDA0003102799450000022
其中,u,v代表所述角点检测图像坐标,x,y为经过变换获得的图片坐标;变换矩阵为3*3,它可以拆分为四个部分[a11,a12,a21,a22]为线性变换的矩阵,[a31,a32]为平移矩阵,这两个矩阵等价于透视变换的变换矩阵;[a13,a23]T为产生透视变换的矩阵,因此变换公式也可以表示为,
Figure FDA0003102799450000023
Figure FDA0003102799450000024
6.根据权利要求1所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述包装箱分类识别模型中,得到的所述包装箱类别为所述包装箱对应的产品的类别。
7.根据权利要求6所述的一种用于立体仓库的货物包装箱识别方法,其特征在于,所述包装箱分类识别模型采用卷积神经的残差结构。
8.一种用于立体仓库的货物包装箱识别系统,其特征在于,该系统包括:
包装箱图像采集模块,用于通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像;
包装箱角点检测模块,用于通过包装箱角点检测模型,获取标记了所述包装箱图像中所有包装箱角点的角点检测图像;
包装箱对齐矫正模块,用于获取所述角点检测图像中每一个包装箱所对应的图像;
包装箱分类识别模块,用于通过包装箱分类识别模型,获取所述包装箱图像中每一个包装箱类别;
包装箱角点检测模型训练模块,用于所述包装箱角点检测模型的训练;
包装箱分类识别模型训练模块,用于所述包装箱分类识别模型的训练。
9.一种用于立体仓库的货物包装箱识别装置,其特征在于,该装置包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现权利要求1-7任一项所述的一种用于立体仓库的货物包装箱识别方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现权利要求1-7任一项所述的一种用于立体仓库的货物包装箱识别方法。
CN202110628600.2A 2021-06-07 2021-06-07 一种用于立体仓库的货物包装箱识别方法及系统 Pending CN113392747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110628600.2A CN113392747A (zh) 2021-06-07 2021-06-07 一种用于立体仓库的货物包装箱识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110628600.2A CN113392747A (zh) 2021-06-07 2021-06-07 一种用于立体仓库的货物包装箱识别方法及系统

Publications (1)

Publication Number Publication Date
CN113392747A true CN113392747A (zh) 2021-09-14

Family

ID=77618391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110628600.2A Pending CN113392747A (zh) 2021-06-07 2021-06-07 一种用于立体仓库的货物包装箱识别方法及系统

Country Status (1)

Country Link
CN (1) CN113392747A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822277A (zh) * 2021-11-19 2021-12-21 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统
US11275964B2 (en) * 2020-03-27 2022-03-15 Zebra Technologies Corporation Methods for determining unit load device (ULD) container type using template matching

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853387A (zh) * 2010-04-02 2010-10-06 北京物资学院 立体仓库货物盘点方法及系统
CN201628974U (zh) * 2010-04-02 2010-11-10 河南省烟草公司郑州市公司 立体仓库货物盘点系统
CN106778737A (zh) * 2016-11-24 2017-05-31 北京文安智能技术股份有限公司 一种车牌矫正方法、装置和一种视频采集装置
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN110738260A (zh) * 2019-10-16 2020-01-31 名创优品(横琴)企业管理有限公司 一种零售门店太空箱摆放检测方法、装置和设备
CN111523553A (zh) * 2020-04-03 2020-08-11 中国计量大学 一种基于相似度矩阵的中心点网络多目标检测方法
CN111626981A (zh) * 2020-04-13 2020-09-04 中国外运股份有限公司 识别待检测货物类别的方法和装置
CN111860489A (zh) * 2019-12-09 2020-10-30 北京嘀嘀无限科技发展有限公司 一种证件图像校正方法、装置、设备及存储介质
CN112101389A (zh) * 2020-11-17 2020-12-18 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
CN112254633A (zh) * 2020-01-15 2021-01-22 北京京东振世信息技术有限公司 物体尺寸测量方法、装置和设备
CN112329859A (zh) * 2020-11-06 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路动车撒砂管喷嘴丢失故障图像识别方法
CN112329669A (zh) * 2020-11-11 2021-02-05 孙立业 一种电子档案管理方法
CN112378333A (zh) * 2020-10-30 2021-02-19 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
CN112488083A (zh) * 2020-12-24 2021-03-12 杭州电子科技大学 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN112529001A (zh) * 2020-11-03 2021-03-19 创泽智能机器人集团股份有限公司 一种基于神经网络的车牌识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853387A (zh) * 2010-04-02 2010-10-06 北京物资学院 立体仓库货物盘点方法及系统
CN201628974U (zh) * 2010-04-02 2010-11-10 河南省烟草公司郑州市公司 立体仓库货物盘点系统
CN106778737A (zh) * 2016-11-24 2017-05-31 北京文安智能技术股份有限公司 一种车牌矫正方法、装置和一种视频采集装置
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN110490256A (zh) * 2019-08-20 2019-11-22 中国计量大学 一种基于关键点热图的车辆检测方法
CN110738260A (zh) * 2019-10-16 2020-01-31 名创优品(横琴)企业管理有限公司 一种零售门店太空箱摆放检测方法、装置和设备
CN111860489A (zh) * 2019-12-09 2020-10-30 北京嘀嘀无限科技发展有限公司 一种证件图像校正方法、装置、设备及存储介质
CN112254633A (zh) * 2020-01-15 2021-01-22 北京京东振世信息技术有限公司 物体尺寸测量方法、装置和设备
CN111523553A (zh) * 2020-04-03 2020-08-11 中国计量大学 一种基于相似度矩阵的中心点网络多目标检测方法
CN111626981A (zh) * 2020-04-13 2020-09-04 中国外运股份有限公司 识别待检测货物类别的方法和装置
CN112378333A (zh) * 2020-10-30 2021-02-19 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
CN112529001A (zh) * 2020-11-03 2021-03-19 创泽智能机器人集团股份有限公司 一种基于神经网络的车牌识别方法
CN112329859A (zh) * 2020-11-06 2021-02-05 哈尔滨市科佳通用机电股份有限公司 一种铁路动车撒砂管喷嘴丢失故障图像识别方法
CN112329669A (zh) * 2020-11-11 2021-02-05 孙立业 一种电子档案管理方法
CN112101389A (zh) * 2020-11-17 2020-12-18 支付宝(杭州)信息技术有限公司 仓储货物测量方法和装置
CN112488083A (zh) * 2020-12-24 2021-03-12 杭州电子科技大学 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HEI LAW 等: "CornerNet: Detecting Objects as Paired Keypoints", 《ECCV 2018》 *
刘铃 等: "基于角点检测的倾斜文档校正", 《机电信息》 *
杨欢 等: "自动化立体仓库中货物自动识别技术", 《江西科学》 *
贾峰 等: "基于自动化立体仓库中货物自动识别技术分析", 《冶金管理》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275964B2 (en) * 2020-03-27 2022-03-15 Zebra Technologies Corporation Methods for determining unit load device (ULD) container type using template matching
CN113822277A (zh) * 2021-11-19 2021-12-21 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统
CN113822277B (zh) * 2021-11-19 2022-02-18 万商云集(成都)科技股份有限公司 基于深度学习目标检测的违规广告图片检测方法及系统

Similar Documents

Publication Publication Date Title
DE102019009206B4 (de) Robotersystem mit dynamischem Packmechanismus
CN107610176B (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
US20210171283A1 (en) Control device and method for a robot system
CN112802105A (zh) 对象抓取方法及装置
CN113392747A (zh) 一种用于立体仓库的货物包装箱识别方法及系统
CN109034694B (zh) 基于智能制造的生产原料智能存储方法及系统
CN113264302A (zh) 仓储机器人的控制方法、装置、机器人和仓储系统
CN111846977A (zh) 基于机器视觉的自动码垛机器人系统及其操作方法
CN114820781A (zh) 基于机器视觉的智能搬运方法、装置、系统及存储介质
CN113159242A (zh) 基于图像处理的仓储物流自动分拣实现方法及装置
JP2022181173A (ja) 透明物体のビンピッキング
EP3948711A1 (en) Systems and methods for mapping locations of cartons in pallets and containers
Holz et al. Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking
CN111079575B (zh) 一种基于包装图像特征的物料识别方法及系统
CN114241037A (zh) 混合尺寸卸盘
Naumann et al. Literature review: Computer vision applications in transportation logistics and warehousing
CN112633187A (zh) 基于图像分析的机器人自动搬运方法、系统和存储介质
CN114819821A (zh) 货物出库校验方法、装置、计算机设备和存储介质
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
JP6730091B2 (ja) 積載手順決定装置、および積載手順決定プログラム
JP2022181174A (ja) 回転補正付きの物体ビンピッキング
KR102436943B1 (ko) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법
CN111498213B (zh) 具有动态打包机制的机器人系统
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN114092396A (zh) 一种包装盒撞角瑕疵检测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914