CN113821674A - 一种基于孪生神经网络的智能货物监管方法及系统 - Google Patents

一种基于孪生神经网络的智能货物监管方法及系统 Download PDF

Info

Publication number
CN113821674A
CN113821674A CN202111389358.4A CN202111389358A CN113821674A CN 113821674 A CN113821674 A CN 113821674A CN 202111389358 A CN202111389358 A CN 202111389358A CN 113821674 A CN113821674 A CN 113821674A
Authority
CN
China
Prior art keywords
goods
shelf
shelf image
detected
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111389358.4A
Other languages
English (en)
Other versions
CN113821674B (zh
Inventor
罗远哲
刘瑞景
李玉琼
王玲洁
吕雪萍
杨京
丁京
李连庚
闫路博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202111389358.4A priority Critical patent/CN113821674B/zh
Publication of CN113821674A publication Critical patent/CN113821674A/zh
Application granted granted Critical
Publication of CN113821674B publication Critical patent/CN113821674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于孪生神经网络的智能货物监管方法及系统。该方法包括获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；本发明实现仓储货物的智能化监管。

Description

一种基于孪生神经网络的智能货物监管方法及系统
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于孪生神经网络的智能货物监管方法及系统。
背景技术
智能仓储作为现代物流产业发展的核心环节，对推动中国物流产业的智慧化升级起着至关重要的作用。然而现存的仓储系统在入库货物的监管等方面普遍存在效率低下、出错率高等问题，严重阻碍了仓储系统的智能化发展，因此亟需一种高效可靠的智能化货物监管方法。
发明内容
本发明的目的是提供一种基于孪生神经网络的智能货物监管方法及系统，实现仓储货物的智能化监管。
为实现上述目的，本发明提供了如下方案：
一种基于孪生神经网络的智能货物监管方法，包括：
获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果的过程为：
利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；
利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
可选地，所述在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像，之前还包括：
构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；
利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
可选地，所述ResNet50网络包括：五个依次连接的卷积块。
可选地，根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
可选地，所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 993389DEST_PATH_IMAGE001
；
Figure 831901DEST_PATH_IMAGE002
；
其中，
Figure 473623DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 665570DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 135734DEST_PATH_IMAGE005
为货物位置中心点坐标，
Figure 489355DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 615443DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
可选地，所述待检测的货架图像以及对应的标准货架图像的尺寸均为1024×1024。
一种基于孪生神经网络的智能货物监管系统，包括：
待检测的货架图像获取模块，用于获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
标准货架图像获取模块，用于在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
货物识别模块，用于根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；
货物识别模块的过程为：
利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；
利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
可选地，还包括：
仓储货物检测数据集构建模块，用于构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；
训练好的货物识别网络模型确定模块，用于利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
可选地，根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
可选地，所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 473065DEST_PATH_IMAGE001
；
Figure 938681DEST_PATH_IMAGE002
；
其中，
Figure 587837DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 873325DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 469392DEST_PATH_IMAGE005
为货物位置中心点坐标，
Figure 651499DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 878081DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于孪生神经网络的智能货物监管方法及系统，能从图像中提取出丰富的货物特征信息，从而自动且精准地获取当前的仓储状态，如各类货物的库存量和所在位置、货架上的空闲仓位数量和货物是否符合仓储的摆放规范要求，并进行实时反馈，从而实现仓储货物的智能化监管。基于本发明所提出的智能货物监管系统，工作人员能够全面实时地掌握仓储状态，快捷查询货物信息，大幅度提高仓储工作效率的同时，可以节约大量的人力物力。本发明针对仓储货物种类繁多、尺寸跨度大的问题，将特征金字塔网络(Feature Pyramid Networks，FPN)应用于目标检测网络，通过特征融合和分层检测操作，使网络获得具有精确位置信息和丰富语义信息的高质量特征图，从而增强货物识别模块对不同尺寸货物的识别能力。本发明针对仓储货物容易摆放混乱，影响作业效率的问题，在整体网络架构中设计并添加了CNet网络，该网络通过对比计算检测图像和标准货架图像之间的货物特征相似度距离和位置距离，不仅能准确获取每个待检测的货架图像的储位编码，而且能使目标检测网络有效感知待检测的货架图像和标准货架图像中货物存放状态的差异性，从而识别出货架上不符合仓储摆放规范的异常货物。本发明基于所输出的货物类别和位置信息，计算并输出各类货物的库存量、空闲仓位数和货物位置；基于所输出的货物储位编码，来获取货架上不符合仓储摆放规范的异常货物。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于孪生神经网络的智能货物监管方法流程示意图；
图2为本发明所提供的实施例的基于孪生神经网络的智能货物监管系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于孪生神经网络的智能货物监管方法及系统，实现仓储货物的智能化监管。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于孪生神经网络的智能货物监管方法流程示意图，如图1所示，本发明所提供的一种基于孪生神经网络的智能货物监管方法，包括：
获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
所述在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像，之前还包括：
构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；如果某一货物的摆放与标准货架图像所示的摆放方式不同，即出现互用储位、移位、歪斜等异常情况，则将其储位编码标注为异常值X。
常规货架图像库中图像保存名称为“standard_对应货架编号”。其次，基于工业相机拍摄不同库存量和货物摆放状态下的常规货架图像，以丰富数据集样本的多样性。并基于所采集的图像构建常规货架图像库，图像保存名称为对应的货架编号。
利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果的过程为：
S101，利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；所述ResNet50网络包括：五个依次连接的卷积块。
S102，利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
S103，依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
S104，将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
S105，根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 775498DEST_PATH_IMAGE001
；
Figure 581780DEST_PATH_IMAGE002
；
其中，
Figure 881044DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 747368DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 326556DEST_PATH_IMAGE005
为货物位置中心点坐标，
Figure 61162DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 355877DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
S106，根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
S107，根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
作为一个具体的实施例，图2为本发明所提供的实施例的基于孪生神经网络的智能货物监管系统的结构示意图，如图2所示，以本发明输入一张待检测的货架图像1024×1024和一张对应的标准货架图像1024×1024为例，展示卷积神经网络的设计过程：
卷积神经网络的输入为一组图像对，即待检测货架图像和对应的标准货架图像。标准货架图像是根据待检测货架图像的名称在标准货架图像库中检索所得。
此处采用ResNet50作为提取货物特征的基础网络，ResNet50由五个依次连接的卷积块构成，将各卷积块的输出特征图分别表示为C1、C2、C3、C4、C5，其特征图尺寸依次为512×512×64、256×256×256、128×128×512、64×64×1024、32×32×2048。
由于货架上各类货物的尺寸多样化，为了增强网络对不同尺度货物的检测能力，构建FPN。首先，为了实现通道数的统一，将C2~C5分别输入一层卷积核为1*1的卷积层中，则特征图尺寸变为256×256×256、128×128×256、64×64×256、32×32×256。接下来，将C5对应的输出特征图命名为R5。对R5进行0.5倍的下采样操作，获得尺寸为16×16×256的R6。再对F5进行2倍的上采样操作，将其尺寸放大为原来的2倍，并将其与等尺寸的C4对应的输出特征图进行元素级相加，从而得到R4。依次对R4和R3进行上述融合操作，从而得到R3和R2特征层。为了消除特征融合过程中的冗余特征，将上述R2~R4特征图分别输入一层卷积核为3*3的卷积层中，从而获得R2~R4层。此处构建的FPN通过特征融合和分层检测操作，使网络获得具有精确位置信息和丰富语义信息的高质量特征图，从而增强货物识别模块对不同尺寸货物的识别能力。
然后，构建区域建议网络和ROI Pooling层。将上一步所得的R2~R6依次输入区域建议网络和ROI Pooling层，并输出一系列相同尺寸的候选区域特征图。
接下来，构建Faster RCNN检测头。将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入两个检测支路（回归支路和分类支路）：利用分类损失函数Softmax Loss进行货物的类别分类，确定候选区域特征图所属的货物类别；利用回归损失函数Smooth L1 Loss完成边框回归操作，并获得货物在货架上的位置信息。
最后，设计CNet网络。CNet网络由两个卷积核为1*1的卷积层、一个全连接层和一个损失层构成。该结构的输入为ROI Pooling层所输出的货物候选区域特征图和每个特征图对应的货物位置信息。损失层通过利用本发明所提出的联合对比损失函数UnionContrastive Loss对来自待检测的货架图像和标准货架图像的货物特征进行逐一对比分析。
对待检测的货架图像中的货物依次进行如下操作：计算该货物与标准货架图像中每个货物间的特征距离d，如果特征距离d的最小值小于上式中的阈值m，并选择使特征距离d最小的标准货架图像货物z*的储位编码作为待检测的货架图像的储位编码，否则将待检测的货架图像的储位编码设为异常值X。通过上述操作依次获得待检测的货架图像中各货物在货架上的储位编码。
此处构建的CNet网络通过计算检测图像和标准货架图像之间的货物特征相似度距离和位置距离，不仅能准确获取每个待检测的货架图像的储位编码，而且使网络能有效感知待检测的货架图像和标准货架图像中货物存放状态的差异性，从而识别出货架上不符合摆放规范的异常货物。
整个卷积神经网络的损失函数值由分类损失函数、回归损失函数和联合对比损失函数相加所得。
基于以上过程完成卷积神经网络的整体设计，采用仓储货物检测数据集进行模型训练，基于损失函数对整个网络进行参数更新，训练完毕后得到最终的货物识别模型。
步骤三、搭建库存计算模块。首先根据Faster RCNN检测头所输出的货物类别和位置信息，输出待检测的货架图像和标准货架图像中每类货物的库存数量（
Figure 986579DEST_PATH_IMAGE008
、
Figure 595939DEST_PATH_IMAGE009
，其中i表示第i个类别）和该类货物当前的位置列表
Figure 275182DEST_PATH_IMAGE010
。并对每一类货物进行如下判断：如果第i类货物的库存量
Figure 486721DEST_PATH_IMAGE008
等于满仓状态下的库存量
Figure 350640DEST_PATH_IMAGE011
，则输出“第i类货物已满仓”，否则
Figure 913209DEST_PATH_IMAGE008
小于满仓库存量
Figure 867914DEST_PATH_IMAGE012
，说明当前存在第i类货物的空仓位，计算两者的差值
Figure 996276DEST_PATH_IMAGE013
，并输出“第i类货物空闲仓位数为
Figure 968780DEST_PATH_IMAGE013
”。
步骤四、搭建违规检测摆放模块。查找CNet网络所输出的待检图像中的货物储位编码，如果待检图像中未出现异常编码X，则输出“当前货物摆放规范”；否则说明当前货架上存在不符合仓储摆放规范的货物，并输出“当前货物摆放违规”。
本发明所提供的一种基于孪生神经网络的智能货物监管系统，包括：
待检测的货架图像获取模块，用于获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
标准货架图像获取模块，用于在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
货物识别模块，用于根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；
货物识别模块的过程为：
利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；
利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
本发明所提供的一种基于孪生神经网络的智能货物监管系统，还包括：
仓储货物检测数据集构建模块，用于构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；
训练好的货物识别网络模型确定模块，用于利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 425169DEST_PATH_IMAGE001
；
Figure 570848DEST_PATH_IMAGE002
；
其中，
Figure 759909DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 575418DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 671736DEST_PATH_IMAGE005
为货物位置中心点坐标，
Figure 712373DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 41328DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于孪生神经网络的智能货物监管方法，其特征在于，包括：
获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；
根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果的过程为：
利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；
利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
2.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像，之前还包括：
构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；
利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
3.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述ResNet50网络包括：五个依次连接的卷积块。
4.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
5.根据权利要求4所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 365419DEST_PATH_IMAGE001
；
Figure 966164DEST_PATH_IMAGE002
；
其中，
Figure 836031DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 321370DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 101239DEST_PATH_IMAGE005
为货物位置中心点坐标，
Figure 669623DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 23857DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
6.根据权利要求1所述的一种基于孪生神经网络的智能货物监管方法，其特征在于，所述待检测的货架图像以及对应的标准货架图像的尺寸均为1024×1024。
7.一种基于孪生神经网络的智能货物监管系统，其特征在于，包括：
待检测的货架图像获取模块，用于获取待检测的货架图像；所述待检测的货架图像基于工业相机拍摄仓储内每个货架的图像；
标准货架图像获取模块，用于在标准货架图像库中进行检索，获取所述待检测的货架图像对应的标准货架图像；所述标准货架图像为货架处于满仓状态，且货物陈列符合设定要求；
货物识别模块，用于根据所述待检测的货架图像以及对应的标准货架图像，采用训练好的货物识别网络模型确定待检测的货架图像的检测结果；所述检测结果包括：各类货物的库存量和所在位置、货架上的空闲仓位数量以及货物是否符合仓储的摆放要求；
货物识别模块的过程为：
利用训练好的货物识别网络模型中的ResNet50网络提取所述待检测的货架图像以及对应的标准货架图像的货物特征；
利用训练好的货物识别网络模型中的特征金字塔网络FPN进行货物特征的特征融合和分层检测操作；
依次利用训练好的货物识别网络模型中的区域建议网络和ROI Pooling层输出一系列相同尺寸的候选区域特征图；
将候选区域特征图分别输入两层全连接层进行特征提取和分类后，再分别输入回归支路和分类支路，确定候选区域特征图所属的货物类别以及在货架上的位置信息；
根据候选区域特征图以及相应的位置信息，采用CNet网络，确定待检测的货架图像中各货物在货架上的储位编码；所述储位编码用于判断货物是否符合仓储的摆放要求；所述CNet网络包括：依次连接的两个卷积核为1*1的卷积层、一个全连接层和一个损失层；
根据候选区域特征图所属的货物类别以及在货架上的位置信息确定各类货物的库存量以及货架上的空闲仓位数量；
根据待检测的货架图像中各货物在货架上的储位编码判断货物是否符合仓储的摆放要求。
8.根据权利要求7所述的一种基于孪生神经网络的智能货物监管系统，其特征在于，还包括：
仓储货物检测数据集构建模块，用于构建仓储货物检测数据集；所述仓储货物检测数据集包括：标准货架图像库、常规货架图像库以及各图像对应的标注文件；所述常规货架图像库为基于工业相机拍摄仓储内每个货架的图像；所述标注文件为采用Labelme软件进行图像标注，在每张货架图像中标注出每个货物的类别、储位编码及位置框；
训练好的货物识别网络模型确定模块，用于利用仓储货物检测数据集训练货物识别网络模型，确定训练好的货物识别网络模型。
9.根据权利要求7所述的一种基于孪生神经网络的智能货物监管系统，其特征在于，根据分类损失函数、回归损失函数和联合对比损失函数确定所述训练好的货物识别网络模型的损失函数值。
10.根据权利要求9所述的一种基于孪生神经网络的智能货物监管系统，其特征在于，所述CNet网络中的损失层的联合对比损失函数，具体包括：
Figure 188253DEST_PATH_IMAGE001
；
Figure 947262DEST_PATH_IMAGE002
；
其中，
Figure 420968DEST_PATH_IMAGE003
为联合对比损失函数，d为两个分别来自待检测的货架图像和标准货架图像的货物之间的相似度，d为候选区域特征图f n 的欧氏距离与货物位置中心点坐标c n 的欧氏距离之和，x为两个分别来自待检测的货架图像和标准货架图像的货物对应的储位编码是否相同的标签，x=1代表来自待检测的货架图像和标准货架图像的货物对应的储位编码相同，x=0则代表待检测的货架图像和标准货架图像中两个货物对应的储位编码不相同，m为设定的阈值，
Figure 265427DEST_PATH_IMAGE004
为待检测的货架图像的候选区域特征图，
Figure 959146DEST_PATH_IMAGE008
为货物位置中心点坐标，
Figure 838241DEST_PATH_IMAGE006
为标准货架图像的候选区域特征图的坐标，n为第n个候选区域特征图，N为候选区域特征图的总数，
Figure 482849DEST_PATH_IMAGE007
为标准货物位置中心点坐标。
CN202111389358.4A 2021-11-23 2021-11-23 一种基于孪生神经网络的智能货物监管方法及系统 Active CN113821674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111389358.4A CN113821674B (zh) 2021-11-23 2021-11-23 一种基于孪生神经网络的智能货物监管方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389358.4A CN113821674B (zh) 2021-11-23 2021-11-23 一种基于孪生神经网络的智能货物监管方法及系统

Publications (2)

Publication Number Publication Date
CN113821674A true CN113821674A (zh) 2021-12-21
CN113821674B CN113821674B (zh) 2022-02-25

Family

ID=78918076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389358.4A Active CN113821674B (zh) 2021-11-23 2021-11-23 一种基于孪生神经网络的智能货物监管方法及系统

Country Status (1)

Country Link
CN (1) CN113821674B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376242A (zh) * 2022-08-22 2022-11-22 广东便捷神科技股份有限公司 一种售货机的智能储物架的货物自动分配方法
CN115619791A (zh) * 2022-12-20 2023-01-17 苏州万店掌网络科技有限公司 一种物品陈列检测方法、装置、设备及可读存储介质
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN108596277A (zh) * 2018-05-10 2018-09-28 腾讯科技（深圳）有限公司 一种车辆身份识别方法、装置和存储介质
CN109607031A (zh) * 2019-01-14 2019-04-12 青岛舍科技有限公司 基于无人机全景的智能仓储系统及方法
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
CN110647816A (zh) * 2019-08-26 2020-01-03 合肥工业大学 一种用于货架药品实时监测的目标检测方法
CN110705666A (zh) * 2019-10-22 2020-01-17 顺忠宝智能科技(深圳)有限公司 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111666848A (zh) * 2020-05-27 2020-09-15 上海东普信息科技有限公司 运输车辆到站检测方法、装置、设备及存储介质
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质
CN112365453A (zh) * 2020-10-26 2021-02-12 上海东普信息科技有限公司 快递货物堆放的检测方法、装置、设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
EP3745296A1 (en) * 2017-12-18 2020-12-02 Shanghai Cloudpick Smart Technology Co., Ltd. Image monitoring-based commodity sensing system and commodity sensing method
CN108520194A (zh) * 2017-12-18 2018-09-11 上海云拿智能科技有限公司 基于影像监测的货品感知系统及货品感知方法
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108596277A (zh) * 2018-05-10 2018-09-28 腾讯科技（深圳）有限公司 一种车辆身份识别方法、装置和存储介质
CN109607031A (zh) * 2019-01-14 2019-04-12 青岛舍科技有限公司 基于无人机全景的智能仓储系统及方法
CN110647816A (zh) * 2019-08-26 2020-01-03 合肥工业大学 一种用于货架药品实时监测的目标检测方法
CN110705666A (zh) * 2019-10-22 2020-01-17 顺忠宝智能科技(深圳)有限公司 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111783528A (zh) * 2020-05-22 2020-10-16 北京沃东天骏信息技术有限公司 监控货架上的物品的方法、计算机和系统
CN111666848A (zh) * 2020-05-27 2020-09-15 上海东普信息科技有限公司 运输车辆到站检测方法、装置、设备及存储介质
CN112365453A (zh) * 2020-10-26 2021-02-12 上海东普信息科技有限公司 快递货物堆放的检测方法、装置、设备和存储介质
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宏伟: "基于孪生神经网络的两阶段目标跟踪方法", 《红外与激光工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376242A (zh) * 2022-08-22 2022-11-22 广东便捷神科技股份有限公司 一种售货机的智能储物架的货物自动分配方法
CN115376242B (zh) * 2022-08-22 2023-08-08 广东便捷神科技股份有限公司 一种售货机的智能储物架的货物自动分配方法
CN115619791A (zh) * 2022-12-20 2023-01-17 苏州万店掌网络科技有限公司 一种物品陈列检测方法、装置、设备及可读存储介质
CN117115167A (zh) * 2023-10-24 2023-11-24 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统
CN117115167B (zh) * 2023-10-24 2023-12-29 诺比侃人工智能科技(成都)股份有限公司 一种基于特征检测的卷钢移位判断方法及系统

Also Published As

Publication number Publication date
CN113821674B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN113821674B (zh) 一种基于孪生神经网络的智能货物监管方法及系统
CN107944450B (zh) 一种车牌识别方法及装置
CN110705666A (zh) 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN109670405B (zh) 一种基于深度学习的复杂背景行人检测方法
CN109508675B (zh) 一种针对复杂场景的行人检测方法
US20210326638A1 (en) Video panoptic segmentation
CN110032654B (zh) 一种基于人工智能的超市商品录入方法及系统
CN107341508B (zh) 一种快速美食图片识别方法及系统
Shen et al. Real-time tracking and counting of grape clusters in the field based on channel pruning with YOLOv5s
CN111522951A (zh) 一种基于图像识别的敏感数据识别与分类的技术方法
CN108133235A (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN105844398A (zh) 一种基于plm数据库面向dpipp产品族的挖掘算法
CN110717493A (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN111898418A (zh) 一种基于t-tiny-yolo网络的人体异常行为检测方法
CN107644203A (zh) 一种形状自适应分类的特征点检测方法
CN110751191A (zh) 一种图像的分类方法及系统
CN114241231A (zh) 基于层级标签注意力的识别方法及装置
CN111104855B (zh) 一种基于时序行为检测的工作流识别方法
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
CN110399528B (zh) 一种自动跨特征推理式目标检索方法
CN113935466A (zh) 数据中心智能巡检机器人多任务学习方法
CN112364193A (zh) 面向图像检索的融合多层特征深度神经网络模型方法
CN112733883B (zh) 一种点监督的目标检测方法
CN115240115B (zh) 一种语义特征和词袋模型相结合的视觉slam回环检测方法
CN111797290A (zh) 数据处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant