CN112365453A - 快递货物堆放的检测方法、装置、设备和存储介质 - Google Patents

快递货物堆放的检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112365453A
CN112365453A CN202011155891.XA CN202011155891A CN112365453A CN 112365453 A CN112365453 A CN 112365453A CN 202011155891 A CN202011155891 A CN 202011155891A CN 112365453 A CN112365453 A CN 112365453A
Authority
CN
China
Prior art keywords
goods
model
stacking
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011155891.XA
Other languages
English (en)
Inventor
李斯
赵齐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202011155891.XA priority Critical patent/CN112365453A/zh
Publication of CN112365453A publication Critical patent/CN112365453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Abstract

本发明公开了一种快递货物堆放的检测方法、装置、设备和存储介质，针对业内物流仓库因货物堆放不规范而影响货物配送的效率，增加物流成本的问题，通过获取货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；创建及优化Mask R‑CNN模型，将图像数据集输入优化后的Mask R‑CNN模型中进行训练，得到货物堆放检测模型；将物流仓库的图像实时输入货物堆放检测模型中，判断货物堆放是否规范。自动对仓库中的货堆进行检测，做到常态检测，规范管理，避免因货物堆放不规范而影响货物配送的效率，从而降低物流成本。

Description

快递货物堆放的检测方法、装置、设备和存储介质
技术领域
本发明属于物流仓库管理的技术领域，尤其涉及一种快递货物堆放的检测方法、装置、设备和存储介质。
背景技术
仓储是现代物流的一个重要组成部分，在物流系统中起着至关重要的作用，是快递公司研究和规划的重点。高效公道的仓储可以帮助快递公司加快货物配送的速度，降低成本，并可以实现资源的有效利用。
关于物流仓库中货物的堆放，不少物流公司提出了堆放标准，如货物堆码不得超高、超宽，做到稳固、整齐，便于清点检查；堆垛要做到“五留距”，即留墙距、柱距、顶距、灯距和垛距，确保货物的安全；货物堆放整齐、无破损或变形货物，货物的存放不能超过产品的堆码层数极限；根据货物的形状大小及仓库的条件，合理搭配空间，避免空间不足货物堆叠，避免空间太大实用不充分等等。
但是，目前快递行业每天包裹数量巨大，而从业人员素质参差不齐，造成了许多货物堆放不规范的现象，如将货物杂乱无章地堆在一起。而货物堆放不规范会导致仓库空间得不到充分利用，即不利于日常工作的开展，也存在一定的安全隐患。
发明内容
本发明的目的是提供一种快递货物堆放的检测方法、装置、设备和存储介质，自动对仓库中的货堆进行检测，做到常态检测，规范管理，避免因货物堆放不规范而影响货物配送的效率，从而降低物流成本。
为解决上述问题，本发明的技术方案为：
一种快递货物堆放的检测方法，包括：
步骤S1：获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
步骤S2：创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的Mask R-CNN模型；
步骤S3：将所述步骤S1中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型；
步骤S4：实时采集物流仓库中的货物堆放图像，输入所述货物堆放检测模型中，输出货物堆放的检测结果。
根据本发明一实施例，所述步骤S1进一步包括：
采用LabelMe工具对历史图像进行目标标注；
将目标标注后的历史图像按COCO数据集的格式进行存储。
根据本发明一实施例，所述将目标标注后的历史图像按COCO数据集的格式进行存储进一步包括：
创建COCO数据集，将未标注的历史图像保存于Images文件夹中；
将标注后的历史图像保存于Annotations文件夹中；Images文件夹中的历史图像的名称与Annotations文件夹中的标注文件的名称一一对应；
在COCO数据集中建立三个json文件，分别为test.json、train.json及val.json，依次作为模型测试集、模型训练集、模型验证集。
根据本发明一实施例，所述步骤S2进一步包括：
所述Mask R-CNN模型包括Backbone、RPN、RoIAlign及FCN，所述Backbone为卷积层，用于提取输入图像的整体特征，得到特征图；所述RPN对特征图生成待检测框，指定RoI的位置，并对RoI的包围框进行第一次修正；所述RoIAlign根据RPN的输出在特征图上选取每个RoI对应的特征，并设置维度；所述FCN对RoI进行分类，并对RoI的包围框进行第二次修正。
根据本发明一实施例，所述步骤S2进一步包括：
在所述Backbone中的卷积网络的卷积核中加入空洞，形成空洞卷积，扩大感受野；通过设置参数dilationrate的值，实现多尺度信息的获取；
将RPN替换为GA-RPN，所述GA-RPN通过CNN预测RoI的位置和形状，生成形状任意的RoI包围框，提高RoI包围框的生成效率及灵活性；
得到所述改进的Mask R-CNN模型。
根据本发明一实施例，所述步骤S3进一步包括：
将图像数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
将模型训练集、模型验证集及模型测试集输入所述改进的Mask R-CNN模型中进行训练，得到所述货物堆放检测模型。
一种快递货物堆放的检测装置，包括：
数据集创建模块，用于获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
模型创建模块，用于创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的MaskR-CNN模型；
模型训练模块，用于将所述数据集创建模块中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型；
检测模块，用于实时采集物流仓库中的货物堆放图像，输入所述货物堆放检测模型中，输出货物堆放的检测结果。
根据本发明一实施例，所述数据集创建模块包括图像获取单元及图像标注单元；
所述图像获取单元用于获取物流仓库中货物堆放的历史图像，将未标注的历史图像保存于Images文件夹中；
所述图像标注单元用于采用LabelMe工具对历史图像进行目标标注，将标注后的历史图像保存于Annotations文件夹中；Images文件夹中的历史图像的名称与Annotations文件夹中的标注文件的名称一一对应。
一种快递货物堆放的检测设备，包括：
存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述快递货物堆放的检测设备执行本发明一实施例中的快递货物堆放的检测方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的快递货物堆放的检测方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
(1)本发明一实施例中的快递货物堆放的检测方法，针对业内物流仓库因货物堆放不规范而影响货物配送的效率，增加物流成本的问题，通过获取货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；创建及优化Mask R-CNN模型，将图像数据集输入优化后的Mask R-CNN模型中进行训练，得到货物堆放检测模型；将物流仓库的图像实时输入货物堆放检测模型中，判断货物堆放是否规范。自动对仓库中的货堆进行检测，做到常态检测，规范管理，避免因货物堆放不规范而影响货物配送的效率，从而降低物流成本。
(2)本发明一实施例中的快递货物堆放的检测方法，采用COCO数据集的格式进行图像数据集的创建，对图像数据集的数据格式进行统一化及标准化，方便货物堆放检测模型进行调用及训练，减少货物堆放检测模型的图像处理时间，提高货物堆放检测模型的输出效率。
(3)本发明一实施例中的快递货物堆放的检测方法，针对传统的卷积神经网络CNN对图像先做卷积，再进行pooling降采样，以降低图像尺寸的代价增大感受野，导致图像信息的丢失问题，通过在主干网络的卷积核中加入空洞，将普通的卷积转换成空洞卷积，在不损失图像信息的情况下，一方面增大了感受野，可以检测分割大目标；另一方面提高了分辨率，可以精确定位目标。
(4)本发明一实施例中的快递货物堆放的检测方法，通过将普通的RPN替换成GA-RPN网络，通过CNN预测RoI(目标)的位置和形状，生成形状任意的RoI包围框，提高RoI包围框的生成效率及灵活性，进而提高货物堆放检测模型的精度。
附图说明
图1为本发明一实施例中的快递货物堆放的检测方法流图；
图2为本发明一实施例中的Mask R-CNN基础模型的示意图；
图3为本发明一实施例中的GA-RPN网络的结构图；
图4为本发明一实施例中的快递货物堆放的检测装置的框图；
图5为本发明一实施例中的快递货物堆放的检测设备的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种快递货物堆放的检测方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
请参看图1，本实施例提供了一种快递货物堆放的检测方法，包括：
步骤S1：获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
步骤S2：创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的Mask R-CNN模型；
步骤S3：将步骤S1中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型；
步骤S4：实时采集物流仓库中的货物堆放图像，输入货物堆放检测模型中，输出货物堆放的检测结果。
具体的，在步骤S1中，采集不同场景下的货物堆放图像，如分拨中心及各网点的仓库或不同空间大小的仓库中的货物堆放图像等。该货物堆放图像包括按照规范要求堆放的图像及堆放不规范的图像，将这些不同场景下的货物堆放图像作为历史图像，采集足够多的历史图像成为本实施例中的货物堆放检测模型的训练样本。本实施例采集1000张历史图像作为训练样本。
由于本实施例中的Mask R-CNN模型的训练样本采用COCO数据集，因此，需要将历史图像按COCO数据集的格式进行保存，该COCO数据集就作为本实施例中的图像数据集。COCO的全称为Common Objects in Context，起源于微软2014年出资标注的MicrosoftCOCO数据集，是一个大型图像数据集。该COCO数据集下包括多个文件夹如Info、Licenses、Annotations、Images，其中，Annotations、Images是两个很重要的文件夹。Images文件夹用于存放历史图像，Annotations文件夹用于存放目标标注后的图像文件。本实施例采用LabelMe标注工具对历史图像进行目标标注，这里的目标为货物。每张历史图像进行目标标注后，保存于Annotations文件夹中。需要注意的是，Images文件夹中的一张历史图像，对应Annotations文件夹中的一个同名的标注(json)文件。
本实施例采用Python实现对COCO数据集的创建。具体步骤如下：
第一步，创建COCO文件夹，标注格式采用soft-1，soft-2；
第二步，通过creat_txt.py生成val.txt，train.txt，test.txt；其中test.txt表示模型测试集，train.txt表示模型训练集，val.txt表示模型验证集；
第三步，通过classify.py程序将json文件与历史图像分类；
第四步，通过labelme2coco.py生成train.json，test.json及val.json等图像标注文件；
第五步，可视化操作。在COCO文件夹下建立coco.py与inspect_data.py。运行inspect_data.py，即可可视化COCO数据集。
上述步骤中涉及的程序代码在此不予公开，虽然没有公开，但本领域技术人员可找到相关技术实现。
在步骤S2中，创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的Mask R-CNN模型。
请参看图2，通常，Mask R-CNN模型由BackBone、RPN、RoIAlign及Head四部分组成。Backbone为卷积层，用于提取输入图像的整体特征，得到特征图feature map；RPN对特征图feature map生成待检测框，指定RoI的位置，并对RoI的包围框进行第一次修正；RoIAlign根据RPN的输出在特征图上选取每个RoI对应的特征，并设置维度；Head包括两个分支，分别为FCN及mask，其中，FCN分支对每个RoI的进行分类，并对RoI的包围框的坐标进行第二次修正，完成全连接预测类别class、全连接预测矩形框box；mask分支采用FCN对每个RoI的分割输出维数为K*m*m(其中：m表示RoIAlign特征图的大小)，即K个类别的m*m的二值mask。保持m*m的空间布局，pixel-to-pixel操作需要保证RoI特征映射到原图的对齐性，这也是使用RoIAlign解决对齐问题原因，减少像素级别对齐的误差。
其中，RPN依靠一个在共享特征图上滑动的窗口，为每个位置生成9种预先设置好长宽比与面积的目标框(anchor)。这9种初始anchor包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)。对于生成的anchor，RPN要做的事情有两个，第一个是判断anchor到底是前景还是背景，意思就是判断这个anchor到底有没有覆盖目标，第二个是为属于前景的anchor进行第一次坐标修正。
然而，基于RPN的anchor生成方式有两个缺点：(1)anchor的尺度和长宽比需要预先定义，针对不同类型的检测任务需要调整这些超参数，预先定义好的anchor形状不一定能满足极端大小或者长宽比悬殊的物体。(2)为了保证召回率，需要生成密集的anchor，引入过多负样本同时影响模型的速率。在拍摄图像中，一般检测目标是不均匀分布且稀疏的。检测目标的尺度和图像内容、位置和几何形状相关。
针对上述两个缺点，本实施例将RPN替换为GA-RPN。GA-RPN(Guided Anchoring)是一种新的anchor生成方法，即通过图像特征来指导anchor的生成。通过CNN预测anchor的位置和形状，生成稀疏而且形状任意的anchor，并且设计FeatureAdaption模块来修正特征图使之与anchor精确匹配。GA-RPN相比RPN减少90％的anchor，并且提高9.1％的召回率。
请参看图3，GA-RPN的backbone基于FPN，而Guided anchoring用于生成anchor。其中，Guided anchoring包括两个并行的分支：anchor Generation及FeatureAdaption。anchor Generation用于分别预测anchor位置和形状，然后结合在一起得到anchor。FeatureAdaption模块用于进行anchor特征的调整，得到新的特征图，提供给之后的预测(anchor的分类和回归)使用。
对于anchor位置的预测，其目标是预测哪些区域应该作为中心点来生成anchor，是一个二分类问题，预测是不是物体的中心。GA-RPN将整个feature map的区域分为物体中心区域，外围区域和忽略区域，大概思路就是将原标记框的中心一小块对应在feature map上的区域标为物体中心区域，在训练的时候作为正样本，其余区域按照离中心的距离标为忽略或者负样本。通过位置预测，可以筛选出一小部分区域作为anchor的候选中心点位置，使得anchor数量大大降低。
对于anchor形状的预测，其目标是根据给定的anchor中心点，预测最佳的长和宽。实际应用中，可以使用IoU(Intersection-over-Union)作为监督，来学习长和宽，在此不做详细描述。
而FeatureAdaption模块先对每个位置预测一个卷积的offset(1x1卷积，输入为shape prediction)，然后根据该offset field进行3x3的可变形卷积就完成了对featuremap的adaption。通过这样的操作，达到了让feature的有效范围和anchor形状更加接近的目的。
本实施例，为了增加特征图的感受野，对Mask R-CNN模型作了进一步的改进。具体为将BackBone的卷积网络替换为空洞卷积Dilated Convolution。即在卷积层中的标准卷积核中注入空洞(即将普通的卷积转换为空洞卷积)，以此来增加特征图的感受野。在卷积神经网络中，感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。也就是说，特征图上的一个点对应输入图上的区域。在卷积神经网络CNN中为了增加感受野且降低计算量，通常要进行降采样(pooling或s2/conv)，这样虽然可以增加感受野，但空间分辨率降低了，进而导致图像信息的丢失。为了能不降低分辨率，且仍然扩大感受野，本实施例采用空洞卷积。空洞卷积的好处是在不损失图像信息的情况下，一方面增大了感受野，可以检测分割大目标；另一方面提高了分辨率，可以精确定位目标。
空洞卷积有一个参数dilation rate，具体含义就是在卷积核中填充dilationrate-1个0，因此，当设置不同dilation rate时，感受野就会不一样，也即获取了多尺度(多分辨率)信息。多尺度信息在视觉任务中相当重要。
在步骤S3中，将步骤S1中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型。
创建好上述改进的Mask R-CNN模型后，将步骤S1中得到的图像数据集进行分类，分为模型训练集、模型验证集、模型测试集，其图像数据量占整个图像数据集的比例依次为60％，30％，10％。对图像数据集的上述分类，可通过编写脚本代码实现。然后在Mask R-CNN模型中，修改需要训练的类别、batch_size、训练次数等参数，即可进行训练。为了提高货物堆放检测模型的货物识别正确率，可重复进行训练，直到货物识别正确率达到预设标准(如95％的正确率)。最终训练好的Mask R-CNN模型就作为本实施例中的货物堆放检测模型。
在步骤S4中，实时采集物流仓库中的货物堆放图像，输入货物堆放检测模型中，输出货物堆放的检测结果。
通常物流分拨中心会安装摄像头，对分拨中心的情况进行监控，尤其是仓库。因此，可从摄像头记录的视频中截取物流仓库的图像。也可以安装DSS数字监控系统，将所有摄像头接入一个局域网中，通过DSS监控平台访问所有摄像头，截取物流仓库的图像，将物流仓库中货物堆的图像输入货物堆放检测模型中，判断货物堆放是否符合规范。通常，货物堆放检测模型会检测出一个多边形，将该多边形的边数与预设的阈值比较，多边形的边数超过这个阈值则为码货不规范。该预设的阈值可根据实际货物堆放的标准而定。
本发明通过自动对仓库中的货堆进行检测，做到常态检测，规范管理，避免因货物堆放不规范而影响货物配送的效率，从而降低物流成本。
实施例二
本发明还提供了一种快递货物堆放的检测装置，参看图4，该装置包括：
数据集创建模块1，用于获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
模型创建模块2，用于创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的MaskR-CNN模型；
模型训练模块3，用于将数据集创建模块1中的图像数据集输入改进的MaskR-CNN模型中进行训练，得到货物堆放检测模型；
检测模块4，用于实时采集物流仓库中的货物堆放图像，输入货物堆放检测模型中，输出货物堆放的检测结果。
其中，数据集创建模块1包括包括图像获取单元及图像标注单元。图像获取单元用于获取货物堆放的历史图像，将未标注的历史图像保存于Images文件夹中；图像标注单元用于采用LabelMe工具对历史图像进行目标标注，将标注后的历史图像保存于Annotations文件夹中；Images文件夹中的历史图像的名称与Annotations文件夹中的标注文件的名称一一对应。
上述数据集创建模块1、模型创建模块2、模型训练模块3、检测模块4的具体内容及实现方法，均如实施例一中所述，在此不再赘述。
实施例三
上述实施例二从模块化功能实体的角度对本发明快递货物堆放的检测装置进行详细描述，下面从硬件处理的角度对本发明快递货物堆放的检测设备进行详细描述。
请参看图5，该快递货物堆放的检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对快递货物堆放的检测设备500中的一系列指令操作。
进一步地，处理器510可以设置为与存储介质530通信，在快递货物堆放的检测设备500上执行存储介质530中的一系列指令操作。
快递货物堆放的检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。
本领域技术人员可以理解，图5示出的快递货物堆放的检测设备结构并不构成对快递货物堆放的检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的快递货物堆放的检测方法的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (10)

1.一种快递货物堆放的检测方法，其特征在于，包括：
步骤S1：获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
步骤S2：创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的Mask R-CNN模型；
步骤S3：将所述步骤S1中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型；
步骤S4：实时采集物流仓库中的货物堆放图像，输入所述货物堆放检测模型中，输出货物堆放的检测结果。
2.如权利要求1所述的快递货物堆放的检测方法，其特征在于，所述步骤S1进一步包括：
采用LabelMe工具对历史图像进行目标标注；
将目标标注后的历史图像按COCO数据集的格式进行存储。
3.如权利要求2所述的快递货物堆放的检测方法，其特征在于，所述将目标标注后的历史图像按COCO数据集的格式进行存储进一步包括：
创建COCO数据集，将未标注的历史图像保存于Images文件夹中；
将标注后的历史图像保存于Annotations文件夹中；Images文件夹中的历史图像的名称与Annotations文件夹中的标注文件的名称一一对应；
在COCO数据集中建立三个json文件，分别为test.json、train.json及val.json，依次作为模型测试集、模型训练集、模型验证集。
4.如权利要求1所述的快递货物堆放的检测方法，其特征在于，所述步骤S2进一步包括：
所述Mask R-CNN模型包括Backbone、RPN、RoIAlign及FCN，所述Backbone为卷积层，用于提取输入图像的整体特征，得到特征图；所述RPN对特征图生成待检测框，指定RoI的位置，并对RoI的包围框进行第一次修正；所述RoIAlign根据RPN的输出在特征图上选取每个RoI对应的特征，并设置维度；所述FCN对RoI进行分类，并对RoI的包围框进行第二次修正。
5.如权利要求4所述的快递货物堆放的检测方法，其特征在于，所述步骤S2进一步包括：
在所述Backbone中的卷积网络的卷积核中加入空洞，形成空洞卷积，扩大感受野；通过设置参数dilationrate的值，实现多尺度信息的获取；
将RPN替换为GA-RPN，所述GA-RPN通过CNN预测RoI的位置和形状，生成形状任意的RoI包围框，提高RoI包围框的生成效率及灵活性；
得到所述改进的Mask R-CNN模型。
6.如权利要求1所述的快递货物堆放的检测方法，其特征在于，所述步骤S3进一步包括：
将图像数据集按60％，30％及10％的比例，依次分为模型训练集，模型验证集及模型测试集；
将模型训练集、模型验证集及模型测试集输入所述改进的Mask R-CNN模型中进行训练，得到所述货物堆放检测模型。
7.一种快递货物堆放的检测装置，其特征在于，包括：
数据集创建模块，用于获取物流仓库中货物堆放的历史图像，对历史图像进行目标标注，建立图像数据集；所述目标为货物；
模型创建模块，用于创建Mask R-CNN模型，将Mask R-CNN模型中的卷积层中的卷积网络替换为空洞卷积，将生成待检测框的RPN网络替换为GA-RPN网络，得到改进的Mask R-CNN模型；
模型训练模块，用于将所述数据集创建模块中的图像数据集输入改进的Mask R-CNN模型中进行训练，得到货物堆放检测模型；
检测模块，用于实时采集物流仓库中的货物堆放图像，输入所述货物堆放检测模型中，输出货物堆放的检测结果。
8.如权利要求7所述的快递货物堆放的检测装置，其特征在于，所述数据集创建模块包括图像获取单元及图像标注单元；
所述图像获取单元用于获取物流仓库中货物堆放的历史图像，将未标注的历史图像保存于Images文件夹中；
所述图像标注单元用于采用LabelMe工具对历史图像进行目标标注，将标注后的历史图像保存于Annotations文件夹中；Images文件夹中的历史图像的名称与Annotations文件夹中的标注文件的名称一一对应。
9.一种快递货物堆放的检测设备，其特征在于，包括：
存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述快递货物堆放的检测设备执行如权利要求1-6中任意一项所述的快递货物堆放的检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的快递货物堆放的检测方法。
CN202011155891.XA 2020-10-26 2020-10-26 快递货物堆放的检测方法、装置、设备和存储介质 Pending CN112365453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011155891.XA CN112365453A (zh) 2020-10-26 2020-10-26 快递货物堆放的检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011155891.XA CN112365453A (zh) 2020-10-26 2020-10-26 快递货物堆放的检测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN112365453A true CN112365453A (zh) 2021-02-12

Family

ID=74512132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011155891.XA Pending CN112365453A (zh) 2020-10-26 2020-10-26 快递货物堆放的检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112365453A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554390A (zh) * 2021-07-16 2021-10-26 携程旅游网络技术（上海）有限公司 库存管理系统、方法、设备及存储介质
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN114140735A (zh) * 2021-07-12 2022-03-04 苏州万店掌网络科技有限公司 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN115159402A (zh) * 2022-06-17 2022-10-11 杭州海康机器人技术有限公司 货物放取方法、装置、电子设备及机器可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140735A (zh) * 2021-07-12 2022-03-04 苏州万店掌网络科技有限公司 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN113554390A (zh) * 2021-07-16 2021-10-26 携程旅游网络技术（上海）有限公司 库存管理系统、方法、设备及存储介质
CN113821674A (zh) * 2021-11-23 2021-12-21 北京中超伟业信息安全技术股份有限公司 一种基于孪生神经网络的智能货物监管方法及系统
CN115159402A (zh) * 2022-06-17 2022-10-11 杭州海康机器人技术有限公司 货物放取方法、装置、电子设备及机器可读存储介质

Similar Documents

Publication Publication Date Title
CN112365453A (zh) 快递货物堆放的检测方法、装置、设备和存储介质
CN110334585B (zh) 表格识别方法、装置、计算机设备和存储介质
CN110427793B (zh) 一种基于深度学习的条码检测方法及其系统
US20210326655A1 (en) Text Recognition Method and Terminal Device
CN110705666A (zh) 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN111310645A (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
AU2005201257A1 (en) Model of documents and method for automatically classifying a document
JP5889727B2 (ja) 電子機器の捺印シンボル検査装置、及びその方法
CN109829458B (zh) 实时自动生成记录系统操作行为的日志文件的方法
CN111597857B (zh) 一种物流包裹检测方法、装置、设备及可读存储介质
CN111160140A (zh) 一种图像检测方法及装置
CN115797811B (zh) 一种基于视觉的农产品检测方法及系统
US11538238B2 (en) Method and system for performing image classification for object recognition
CN111523429A (zh) 基于深度学习的堆钢识别方法
CN112287768A (zh) 用于物流仓库的抽烟识别方法、装置、设备和存储介质
CN110942455A (zh) 输电线路开口销缺失检测方法、装置和计算机设备
CN112052702A (zh) 一种识别二维码的方法和装置
Mishchenko et al. Model-based chart image classification
CN113159246B (zh) 基于二维码标签的钢厂货物识别方法、装置及计算机设备
CN111079575B (zh) 一种基于包装图像特征的物料识别方法及系统
CN116403132B (zh) 一种基于图像和机器算法生成征地拆迁表的地物识别方法
CN109145916B (zh) 一种图像文字识别切割方法及一种存储设备
CN114140735B (zh) 一种基于深度学习的货道堆积检测方法、系统及存储介质
CN113978987B (zh) 栈板物品打包提货方法、装置、设备及介质
Li et al. Container keyhole positioning based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination