CN114972931A - 一种基于知识蒸馏的货物存放方法及装置 - Google Patents

一种基于知识蒸馏的货物存放方法及装置 Download PDF

Info

Publication number
CN114972931A
CN114972931A CN202210924201.5A CN202210924201A CN114972931A CN 114972931 A CN114972931 A CN 114972931A CN 202210924201 A CN202210924201 A CN 202210924201A CN 114972931 A CN114972931 A CN 114972931A
Authority
CN
China
Prior art keywords
goods
processed
sub
cargo
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210924201.5A
Other languages
English (en)
Other versions
CN114972931B (zh
Inventor
徐新明
施林坚
刘中原
梁波
柴梅芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guolian Technology Zhejiang Co ltd
Original Assignee
Guolian Technology Zhejiang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guolian Technology Zhejiang Co ltd filed Critical Guolian Technology Zhejiang Co ltd
Priority to CN202210924201.5A priority Critical patent/CN114972931B/zh
Publication of CN114972931A publication Critical patent/CN114972931A/zh
Application granted granted Critical
Publication of CN114972931B publication Critical patent/CN114972931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于知识蒸馏的货物存放方法及装置，其方法包括：获取包含至少两种待处理货物的待处理图像；将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；基于与每个子区域对应的货物特征，在预设货物对应列表中确定出存放参数；根据与每个子区域对应的货物特征以及存放参数，对每种待处理货物进行存放处理。通过第一卷积神经网络可有效精准的得到待处理货物的货物特征，该第一卷积神经网络相较于其它神经网络有着存储空间更小以及处理效率更高的优势，不仅可提高货物存放的质量以及效率，还可基于货物特征对不同类型的货物进行分类存放，以避免因存放过久所导致的货物损坏等影响。

Description

一种基于知识蒸馏的货物存放方法及装置
技术领域
本申请属于仓库管理技术领域，特别的涉及一种基于知识蒸馏的货物存放方法及装置。
背景技术
随着物流业的蓬勃发展，货品仓库变的越来越大，结构也越来越复杂，其存放的货物数量不仅越来越多，种类也是多种多样。一般为了节省货物搬运效率，会将不同类型的货物先集中放置在一起，接着由人工或自动化程序完成对所有类型货物的存放。
但在实际存放过程中，由于前期将货物大量堆积在一起，在对不同类型货物进行存放时，不仅难以控制将同一类型的货物进行统一归类存放处理，而且对于存放日期较短的货物无法做到及时有效的监控，进而还易造成因存放过久所导致的货物损坏等影响。
发明内容
本申请为解决上述提到的难以控制将同一类型的货物进行统一归类存放处理，而且对于存放日期较短的货物无法做到及时有效的监控，进而还易造成因存放过久所导致的货物损坏等影响的技术问题，提出一种基于知识蒸馏的货物存放方法及装置，具体方案如下：
第一方面，本申请实施例提供了一种基于知识蒸馏的货物存放方法，包括：
获取包含至少两种待处理货物的待处理图像；
将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；其中，第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，待处理图像包括m×n个子区域，m以及n均为正整数；
基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。
在第一方面的一种可选方案中，获取包含至少两种待处理货物的待处理图像，包括：
将所有货物放置在预设第一区域，并按照预设划分方式对所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
基于顶部相机获取与子货物群对应的待处理图像；其中，顶部相机与子货物群之间的距离处于预设距离区间。
在第一方面的又一种可选方案中，与每个子区域对应的货物特征包括每个子区域的关键点所对应的内嵌特征；
基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数，包括：
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型；
在预设货物对应列表中筛选出与每种待处理货物的类型一致的货物名称，并确定出与每种待处理货物的类型一致的货物名称对应的存放日期参数以及存放环境参数。
在第一方面的又一种可选方案中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
在基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，还包括：
基于每个子区域的关键点所对应的内嵌特征以及每个子区域的关键点所对应的偏移量特征，在待处理图像中确定出每种待处理货物占据的总面积；
根据顶部相机与子货物群之间的距离以及每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理，包括：
根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
在第一方面的又一种可选方案中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型之前，还包括：
在每个子区域中确定出置信度特征低于预设阈值的所有关键点；
对置信度特征低于预设阈值的所有关键点进行剔除处理；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型，包括：
基于处理后的每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。
在第一方面的又一种可选方案中，根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理，包括：
当检测到待处理货物的存放日期参数处于预设第一区间时，将待处理货物放置在预设第二区域，并控制预设第二区域的环境参数与待处理货物的存放环境参数一致；其中，预设第二区域的面积大于待处理货物的实际占据面积；
按照预设时间间隔采集预设第二区域的气体浓度参数，并将预设第二区域的气体浓度参数输入至训练好的深度学习神经网络，以根据深度学习神经网络的预测结果得到预设第二区域的气体浓度变化趋势；
基于预设第二区域的气体浓度变化趋势对待处理货物的存放日期参数进行更新，并生成与更新后的存放日期参数对应的第一提示信息；
当检测到待处理货物的存放日期参数处于预设第二区间时，将待处理货物放置在预设第三区域，并控制预设第三区域的环境参数与待处理货物的存放环境参数一致；其中，预设第三区域的面积大于待处理货物的实际占据面积；
对待处理货物进行图像识别处理，以得到待处理货物标注的生产日期；
根据待处理货物标注的生产日期确定出第二提示信息。
在第一方面的又一种可选方案中，第一卷积神经网络包括一个沙漏结构，第二卷积神经网络包括四个沙漏结构；第一卷积神经网络的损失函数包括第二卷积神经网络经过训练后得到的损失参数，第二卷积神经网络由多个已知货物特征的样本图像训练得到。
第二方面，本申请实施例提供了一种基于知识蒸馏的货物存放装置，其特征在于，包括：
图像获取模块，用于获取包含至少两种待处理货物的待处理图像；
图像处理模块，用于将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；其中，第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，待处理图像包括m×n个子区域，m以及n均为正整数；
数据分析模块，用于基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
货物存放模块，用于根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。
在第二方面的一种可选方案中，图像获取模块包括；
划分单元，用于将所有货物放置在预设第一区域，并按照预设划分方式对所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
获取单元，用于基于顶部相机获取与子货物群对应的待处理图像；其中，顶部相机与子货物群之间的距离处于预设距离区间。
在第二方面的又一种可选方案中，与每个子区域对应的货物特征包括每个子区域的关键点所对应的内嵌特征；
数据分析模块包括：
第一确定单元，用于基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型；
第二确定单元，用于在预设货物对应列表中筛选出与每种待处理货物的类型一致的货物名称，并确定出与每种待处理货物的类型一致的货物名称对应的存放日期参数以及存放环境参数。
在第二方面的又一种可选方案中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
装置还包括：
第一计算模块，用于在基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，基于每个子区域的关键点所对应的内嵌特征以及每个子区域的关键点所对应的偏移量特征，在待处理图像中确定出每种待处理货物占据的总面积；
第二计算模块，用于根据顶部相机与子货物群之间的距离以及每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
货物存放模块，具体用于：
根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
在第二方面的又一种可选方案中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
数据分析模块还包括：
第三确定单元，用于在基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型之前，在每个子区域中确定出置信度特征低于预设阈值的所有关键点；
剔除单元，用于对置信度特征低于预设阈值的所有关键点进行剔除处理；
第一确定单元具体用于：
基于处理后的每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。
在第二方面的又一种可选方案中，货物存放模块包括：
第一检测单元，用于当检测到待处理货物的存放日期参数处于预设第一区间时，将待处理货物放置在预设第二区域，并控制预设第二区域的环境参数与待处理货物的存放环境参数一致；其中，预设第二区域的面积大于待处理货物的实际占据面积；
第一处理单元，用于按照预设时间间隔采集预设第二区域的气体浓度参数，并将预设第二区域的气体浓度参数输入至训练好的深度学习神经网络，以根据深度学习神经网络的预测结果得到预设第二区域的气体浓度变化趋势；
第一生成单元，用于基于预设第二区域的气体浓度变化趋势对待处理货物的存放日期参数进行更新，并生成与更新后的存放日期参数对应的第一提示信息；
第二检测单元，用于当检测到待处理货物的存放日期参数处于预设第二区间时，将待处理货物放置在预设第三区域，并控制预设第三区域的环境参数与待处理货物的存放环境参数一致；其中，预设第三区域的面积大于待处理货物的实际占据面积；
第二处理单元，用于对待处理货物进行图像识别处理，以得到待处理货物标注的生产日期；
第二生成单元，用于根据待处理货物标注的生产日期确定出第二提示信息。
在第二方面的又一种可选方案中，第一卷积神经网络包括一个沙漏结构，第二卷积神经网络包括四个沙漏结构；第一卷积神经网络的损失函数包括第二卷积神经网络经过训练后得到的损失参数，第二卷积神经网络由多个已知货物特征的样本图像训练得到。
第三方面，本申请实施例还提供了一种基于知识蒸馏的货物存放装置，包括处理器以及存储器；
处理器与存储器连接；
存储器，用于存储可执行程序代码；
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于知识蒸馏的货物存放方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于知识蒸馏的货物存放方法。
在本申请实施例中，可在进行货物存放时，先获取包含至少两种待处理货物的待处理图像；接着将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；接着基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；接着根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。通过第一卷积神经网络可有效精准的得到待处理货物的货物特征，该第一卷积神经网络相较于其它神经网络有着存储空间更小以及处理效率更高的优势，不仅可提高货物存放的质量以及效率，还可基于货物特征对不同类型的货物进行分类存放，以有效避免因存放过久所导致的货物损坏等影响。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于知识蒸馏的货物存放方法的流程示意图；
图2为本申请实施例提供的一种基于知识蒸馏的卷积神经网络训练示意图；
图3为本申请实施例提供的一种基于知识蒸馏的卷积神经网络中沙漏结构的整体示意图；
图4为本申请实施例提供的一种预设货物对应列表的结构示意图；
图5为本申请实施例提供的一种基于知识蒸馏的货物存放装置的结构示意图；
图6为本申请实施例提供的又一种基于知识蒸馏的货物存放装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
请参阅图1，图1示出了本申请实施例提供的一种基于知识蒸馏的货物存放方法的流程示意图。
如图1所示，该基于知识蒸馏的货物存放方法至少可以包括以下步骤：
步骤102、获取包含至少两种待处理货物的待处理图像。
本申请实施例中基于知识蒸馏的货物存放方法可以但不局限于应用在可实现仓库管理的控制终端，该控制终端可对一个或多个仓库中的货物数据进行存储以及管理，且在当该控制终端对多个仓库中的货物数据进行存储以及管理时，每个仓库中均可设置有可实现信息交互的控制终端，以便于仓库管理人员可在相应仓库的控制终端上输入货物数据以及可查阅其它仓库的控制终端所实时记录的货物数据。可以理解的是，在本申请实施例中每个仓库设置的控制终端之间可基于区块链技术实现货物数据的共享以及透明化，以使与每个仓库对应的仓库管理人员不可随意在相应的控制终端上对货物数据进行修改，进而可实现对多个仓库的货物数据的有效监控。
具体地，可在基于控制终端进行货物存放时，先在仓库内获取包含至少两种待处理货物的待处理图像，其中，由于需要不断的将待处理货物运输至仓库内，可以但不局限于按照预设时间间隔获取仓库内包含至少两种待处理货物的待处理图像，以保障货物存放的有序性和准确性。
作为本申请实施例的一种可选，获取包含至少两种待处理货物的待处理图像，包括：
将所有货物放置在预设第一区域，并按照预设划分方式对所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
基于顶部相机获取与子货物群对应的待处理图像；其中，顶部相机与子货物群之间的距离处于预设距离区间。
具体地，可在获取待处理图像时，先将按照预设时间间隔采集到的所有货物通过叉车或是机器人移动至预设第一区域，该预设第一区域可理解为图像采集区域，在该预设第一区域的上方可以但不局限于设置有一个或多个用于拍摄货物的顶部相机（或是其它拍摄设备），以便于将处于该预设第一区域内的所有货物拍摄到。其中，当设置有多个用于拍摄货物的顶部相机时，每个顶部相机的中心与预设第一区域中心的夹角各不不同。
进一步的，当将所有货物移动至预设第一区域之后，可按照预设的划分方式对该所有货物进行划分处理，可以但不局限于将该所有货物划分为面积相等的多个子货物群，例如可将该所有货物划分为面积相等的四个子货物群，且每个子货物群可包含至少两种待处理货物。可以理解的是，在按照预设的划分方式对所有货物进行划分处理的过程中，还可基于顶部相机实时对所有货物所划分出的子货物群进行图像采集，以通过图像识别的方式判断该子货物群是否包含至少两种待处理货物。
进一步的，在划分出包含至少两种待处理货物的子货物群之后，可基于顶部相机获取与每个子货物群对应的待处理图像。其中，当设置有多个顶部相机时，可以但不局限于将每个顶部相机获取的待处理图像进行融合处理，并将经过融合处理后的图像作为与每个子货物群对应的待处理图像，该方式可最大化的避免待处理图像中货物遮挡所带来的影响。
步骤104、将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征。
具体地，在得到待处理图像之后，可将该待处理图像输入至训练好的第一卷积神经网络，以得到待处理图像中每个子区域所对应的货物特征。其中，第一卷积神经网络在对该待处理图像进行处理的过程中，可以但不局限于将该待处理图像均匀划分为m×n个子区域，在每个子区域中均对应有货物特征，且该m以及n均为正整数，例如可将该待处理图像均匀划分为32×64个子区域。
可以理解的是，本申请实施例中提到的第一卷积神经网络可由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，该第一卷积神经网络包括有一个沙漏结构（也可理解为卷积神经网络结构中的hourglass模块），该第二卷积神经网络包括有相同的四个沙漏结构（也可理解为卷积神经网络结构中的hourglass模块），在第一卷积神经网络的训练过程中，先基于上述提到的多个已知货物特征的样本图像对第二卷积神经网络进行训练，并再基于该多个已知货物特征的样本图像对第一卷积神经网络进行训练时加入训练后的第二卷积神经网络中的损失参数，进而得到训练后的第一卷积神经网络。此处可参阅图2示出的本申请实施例提供的一种基于知识蒸馏的卷积神经网络训练示意图，该图中上半部分可表示为第二卷积神经网络的训练过程，该图中下半部分可表示为第一卷积神经网络的训练过程。
需要说明的是，在本申请实施例中采用的基于知识蒸馏的第一卷积神经网络相较于其它神经网络，不仅整体设计结构简单，通过使用基础的算子和轻量的模型架构来减少控制终端内的占据空间，而且还可保障输出结果的精度以及效率。
本申请实施例中的第一卷积神经网络可理解为知识蒸馏（可为一种模型压缩方法，或是一种基于“教师-学生网络思想”的训练方法）中的学生网络，第二卷积神经网络可理解为知识蒸馏中的教师网络。在对该第二卷积神经网络进行训练之前，可采集多个已知货物特征的样本图像，并对该多个已知货物特征的样本图像分别进行数据扩充处理，以使该样本图像的真实性更加贴近顶部相机在对货物进行拍摄的过程中所采集到的图像。其中，数据扩充处理的方式可以但不局限于为增加阴影、增加高斯噪声、对样本图像进行旋转操作、对样本图像进行平移操作或是增加亮度中任意至少一种方式，以可以但不局限于将该样本图像的数量提升至原来的三倍。
进一步的，在对样本图像进行数据扩充处理之后，可对该经过处理后的样本图像进行压缩处理。在本申请实施例中提到的样本图像可为3×1080×1920的彩色图像，可以但不局限于先对该样本图像进行max-pooling处理，以使该样本图像的尺寸压缩为3×256×512的尺寸。接着，可以但不局限于将该压缩后的样本图像输入至第一卷积层，以得到格式为32×128×256的样本图像。接着，可以但不局限于再将该格式为32×128×256的样本图像输入至第二卷积层，以得到格式为64×64×128的样本图像。接着，可以但不局限于再将该格式为64×64×128的样本图像输入至第三卷积层，以得到格式为128×32×64的样本图像。可以理解的是，本申请实施例中提到的第一卷积层、第二卷积层以及第三卷积层均可采用3*3的卷积核，stride为2，padding为1，并在每个卷积层之后使用激活函数（也可理解为Prelu）和归一化函数（也可理解为Batch Norm）。
当然，本申请实施例中对于采集到的待处理图像，也可再进行数据扩充处理以及压缩处理后，再将经过格式转化的待处理图像输入至训练后的第一卷积神经网络。
进一步的，在将样本图像的格式转化为128×32×64的尺寸之后，可先构建包括有四个相同的四个沙漏结构的第二卷积神经网络（也可理解为教师网络），该四个相同的四个沙漏结构串联组成，且每个沙漏结构包含4个编码层、4个蒸馏层以及4个解码层，且在该沙漏结构中数据可以跳过连接直接传递到更深的层，也可以通过下采样层和上采样层。此处还可参阅如下所示的一种本申请实施例中第二卷积神经网络的四个沙漏结构参数：
输出尺寸
压缩层 128*32*64
编码层1 128*16*32
编码层2 128*8*16
编码层3 128*4*8
编码层4 128*2*4
蒸馏层*4 128*2*4
解码层1 128*4*8
解码层2 128*8*16
解码层3 128*16*32
解码层4 128*32*64
输出层1 64*32*64
输出层2 32*32*64
输出层3 K*32*64
可以理解的是，每个沙漏结构的输出结果为32×64的网格，每个网格可以但不局限于包括关键点的置信度特征、偏移量特征以及内嵌特征中任意至少一种特征，且对于每个特征均对应有损失函数去约束网格，此处可参阅图3示出的本申请实施例提供的一种基于知识蒸馏的卷积神经网络中沙漏结构的整体示意图。在第二卷积神经网络中前一个沙漏结构输出的置信度特征可作为后一个沙漏结构的输入，该第二卷积神经网络仅用来提升第一卷积神经网络（也可理解为学生网络）的性能，使得第一卷积神经网络可以使用1/4的参数就达到逼近第二卷积神经网络的性能。
进一步的，在构建出第二卷积神经网络的结构之后，可将尺寸为128×32×64输入该第二卷积神经网络中，并根据输出特征计算相应的损失函数。此处在计算损失函数的过程中，与置信度特征对应的损失函数包括存在损失函数与不存在损失函数，并可以但不局限于通过如下公式计算出与置信度特征对应的损失函数：
Figure DEST_PATH_IMAGE001
上式中，
Figure 432903DEST_PATH_IMAGE002
可表示为关键点的网格数量，
Figure DEST_PATH_IMAGE003
可表示为不包含关键点的网格数量，
Figure 881202DEST_PATH_IMAGE004
可表示为关键点的网格，
Figure DEST_PATH_IMAGE005
可表示为不包含关键点的网格，
Figure 67464DEST_PATH_IMAGE006
可表示为置信度预测值，
Figure DEST_PATH_IMAGE007
可表示为已知的真实值，需要注意的是，本申请实施例只对预测背景置信度特征高于0.01的网格计算不存在损失函数。
此处在计算损失函数的过程中，与内嵌特征对应的损失函数可以但不局限于通过如下公式得到：
Figure 259411DEST_PATH_IMAGE008
上式中，
Figure DEST_PATH_IMAGE009
可表示为第i个单元格的嵌入特征值，
Figure 995155DEST_PATH_IMAGE010
可表示为单元格i与j是否属于同一类型货物（如果属于同一类型货物则为1，反之为0）；
当
Figure DEST_PATH_IMAGE011
，
Figure 224142DEST_PATH_IMAGE012
；
当
Figure DEST_PATH_IMAGE013
，
Figure 22334DEST_PATH_IMAGE014
。
此处在计算损失函数的过程中，与偏移量特征对应的损失函数可以但不局限于通过如下公式得到：
Figure DEST_PATH_IMAGE015
其中，本申请实施例的第二卷积神经网络中最后一个沙漏结构的四个蒸馏层将与前三个沙漏结构的四个蒸馏层做损失函数。当第二卷积神经网络训练完成后，可基于上述提到的多个已知货物特征的样本图像对第一卷积神经网络进行训练，并在计算第一卷积神经网络的损失函数的过程中，先将第一卷积神经网络的沙漏结构的四个蒸馏层与第二卷积神经网络的最后一个沙漏结构的四个蒸馏层做损失并加入该第一卷积神经网络的损失函数中，再将第一卷积神经网络输出的置信度特征与第二卷积神经网络的置信度特征做损失并加入该第一卷积神经网络的损失函数中。
此处第二卷积神经网络的蒸馏层的损失函数可以但不局限于通过下式得到：
Figure 641140DEST_PATH_IMAGE016
上式中，
Figure DEST_PATH_IMAGE017
，S可表示为spatial softmax函数，
Figure 982123DEST_PATH_IMAGE018
可表示为第二卷积神经网络第m个沙漏结构的蒸馏层所输出的第i个通道，
Figure DEST_PATH_IMAGE019
可表示为第二卷积神经网络第m个沙漏结构，D可表示为平方和。
第一卷积神经网络的蒸馏层的损失函数可以但不局限于通过下式得到：
Figure 506645DEST_PATH_IMAGE020
上式中，
Figure DEST_PATH_IMAGE021
可表示为第一卷积神经网络的沙漏结构。
此处第一卷积神经网络输出的置信度特征与第二卷积神经网络的置信度特征做损失的函数可以但不局限于通过下式得到：
Figure 182346DEST_PATH_IMAGE022
上式中，
Figure DEST_PATH_IMAGE023
可表示为第二卷积神经网络输出的置信度坐标（i,j）的值，
Figure 450516DEST_PATH_IMAGE024
可表示为第一卷积神经网络输出的置信度坐标（i,j）的值。
综上，第一卷积神经网络的最终损失函数可以但不局限于通过下式得到：
Figure DEST_PATH_IMAGE025
第二卷积神经网络的最终损失函数可以但不局限于通过下式得到：
Figure 646006DEST_PATH_IMAGE026
还可以理解的是，本申请实施例中置信度特征损失的权重最大，蒸馏层损失的比重小，可使第一卷积神经网络以及第二卷积神经网络均达到最好的收敛效果。
在第一卷积神经网络以及第二卷积神经网络训练完成后，还可使用pytorch的quantization函数将所有参数从32-bit压缩到8-bit，在几乎没有损失性能的情况下大幅降低模型的大小。
步骤106、基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数。
具体地，当待处理图像中与每个子区域对应的货物特征为每个子区域的关键点所对应的内嵌特征时，可以但不局限于先基于该每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。其中，每个子区域的关键点所对应的内嵌特征可用于表征每个子区域的关键点所对应的货物类型，其表现形式可以但不局限于为特定的字符串，例如货物类型A所对应的字符串可表示为aa，货物类型B 所对应的字符串可表示为bb以及货物类型C所对应的字符串可表示为cc。此处，可基于待处理图像中每个子区域的关键点所对应的内嵌特征统计出该待处理图像中所包括的所有货物类型。
进一步的，在得到待处理图像中所有的货物类型之后，可在预设货物对应列表中筛选出与待处理图像中每种货物类型一致的货物名称，并可根据该货物名称确定出各自对应的存放日期参数以及存放环境参数。此处，可参阅图4示出的本申请实施例提供的一种预设货物对应列表的结构示意图。
如图4所示，在预设货物对应列表中可以但不局限于包括货物名称A、货物名称B以及货物名称C，其中，该货物名称A所对应的存放日期处于a至b之间，该货物名称A所对应的存放环境中温度范围处于w1至w2之间，湿度范围处于s1至s2之间。其中，该货物名称B所对应的存放日期处于a至c之间，该货物名称B所对应的存放环境中温度范围处于w1至w3之间，湿度范围处于s3至s4之间。其中，该货物名称C所对应的存放日期处于a至d之间，该货物名称C所对应的存放环境中温度范围处于w1至w3之间，湿度范围处于s3至s4之间。例如当货物类型为某种蔬菜时，对应的存放日期可设置为1-3天，对应的温度范围需处于7-12度，对应的湿度范围需处于90％～95％。
作为本申请实施例的又一种可选，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
在基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，还包括：
基于每个子区域的关键点所对应的内嵌特征以及每个子区域的关键点所对应的偏移量特征，在待处理图像中确定出每种待处理货物占据的总面积；
根据顶部相机与子货物群之间的距离以及每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理，包括：
根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
具体地，当待处理图像中与每个子区域对应的货物特征为每个子区域的关键点所对应的内嵌特征以及偏移量特征时，可以但不局限于根据该每个子区域的关键点所对应的内嵌特征以及偏移量特征，确定出每种类型货物在待处理图像中的位置，其中，每个子区域的关键点所对应的偏移量特征可用于表征每个子区域中与每种类型货物对应的关键点在待处理图像的平面直角坐标系中的坐标，该与每种类型货物对应的关键点所构成的形状可为该每种类型货物在待处理图像中所占据的形状。此处，本申请实施例可先根据每个子区域的关键点所对应的内嵌特征在待处理图像中确定出不同类型的货物，接着可根据每种类型货物所对应的偏移量特征确定出在待处理图像中所占据的形状，并计算出该占据的形状所对应的总面积。可以理解的是，当每种类型货物在待处理图像中所占据的形状为规则图形时，可直接根据规则图形的面积计算公式计算出总面积；当每种类型货物在待处理图像中所占据的形状为不规则图像时，可以但不局限于先将该占据的形状划分为多个规则图形，再分别对每个规则图像基于规则图形的面积计算公式计算出各自对应的面积。
进一步的，在得到每种待处理货物在待处理图像中占据的总面积之后，还可以但不局限于利用投影定理，根据顶部相机与子货物群之间的距离确定出每种待处理货物在待处理图像中占据的总面积与实际面积的比例系数，并由该比例系数以及每种待处理货物在待处理图像中占据的总面积计算出每种待处理货物的实际占据面积。可以理解的是，此处比例系数也可为预设参数，也即保持顶部相机与子货物群之间的距离一致，预先通过已知实际面积的样本货物以及在待处理图像中确定出的面积计算出相应参数，并可将该相应参数作为本申请实施例提到的比例系数。
进一步的，可根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理，不仅可保障每种待处理货物可有序一致的放置在同一区域，且以有效避免因存放过久所导致的货物损坏等影响。
作为本申请实施例的又一种可选，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型之前，还包括：
在每个子区域中确定出置信度特征低于预设阈值的所有关键点；
对置信度特征低于预设阈值的所有关键点进行剔除处理；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型，包括：
基于处理后的每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。
具体地，当待处理图像中与每个子区域对应的货物特征为每个子区域的关键点所对应的内嵌特征、偏移量特征以及置信度特征时，还可以但不局限于先基于置信度特征对低于预设阈值的所有关键点进行剔除处理，以保障每个子区域中的关键点均为可靠性较高的点，进而可有效保障预测结果的精度。此处，预设阈值可以但不局限于设置为0.95，且本申请实施例不限定于此。
步骤108、根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。
具体地，当检测到待处理货物的存放日期参数处于预设第一区间时，可以但不局限于表明该待处理货物的类型为水果或是蔬菜，先将该待处理货物运输至预设第二区域，并控制该预设第二区域中的温度处于该待处理货物的存放环境参数中温度范围内，以及控制该预设第二区域中的湿度处于该待处理货物的存放环境参数中湿度范围内。其中，在本申请实施例中预设第二区域可专门用于存放水果或是蔬菜等类型的货物，其预设的温度范围可承载多种不同类型的蔬菜或是水果类货物的存放温度，其预设的湿度范围可承载多种不同类型的蔬菜或是水果类货物的存放湿度。可以理解的是，该预设第二区域在存放该待处理货物时，还可先根据该待处理货物的实际占据面积判断是否有足够的空间来完整的存放该待处理货物，且在该预设第二区域的剩余面积大于该待处理货物的实际占据面积时可在该预设第二区域内存放该待处理货物。
进一步的，在将待处理货物放置在预设第二区域之后，按照预设时间间隔采集该预设第二区域内的气体浓度参数，该气体浓度参数可以但不局限于包括二氧化碳气体浓度或是乙烯气体浓度，并可将该预设第二区域内的气体浓度参数输入至训练好的深度神经网络中，以预测出该第二区域内的气体在存放日期内的浓度变化趋势。其中，深度神经网络可根据输入的多个时刻的气体浓度预测出指定时间间隔内的不同时刻的气体浓度，例如可预测出一天内每个小时对应的气体浓度，并可以但不局限于根据该预设第二区域内的气体浓度参数以及预测出的气体浓度生成相应的曲线图，以便于根据该曲线图得到该预设第二区域内的气体浓度变化趋势。
进一步的，可在得到预设第二区域内的气体浓度变化趋势之后，估计出该预设第二区域内的气体浓度在超过预设浓度阈值时所对应的日期，并将该日期作为待处理货物的存放日期，同时还可生成相应的提示信息以及时通知仓库管理人员进行管理。可以理解的是，当预设第二区域存放的不同类型货物数量越来越多时，多种货物堆积在一起所产生的气体浓度易缩短货物的存放时间，基于此可通过预测出的气体浓度变化趋势来有效避免待处理货物放坏。
当检测到待处理货物的存放日期参数处于预设第二区间时，可以但不局限于表明该待处理货物的类型为牛奶或是饼干等可长期存放的货物，先将该待处理货物运输至预设第三区域，并控制该预设第三区域中的温度处于该待处理货物的存放环境参数中温度范围内，以及控制该预设第二区域中的湿度处于该待处理货物的存放环境参数中湿度范围内。可以理解的是，该预设第三区域在存放该待处理货物时，还可先根据该待处理货物的实际占据面积判断是否有足够的空间来完整的存放该待处理货物，且在该预设第三区域的剩余面积大于该待处理货物的实际占据面积时可在该预设第三区域内存放该待处理货物。
进一步的，在将待处理货物放置在预设第三区域之后，还可以但不局限于基于上述提到的顶部相机对该待处理货物进行拍摄，并对采集到的图像进行识别处理，以从图像中识别出该待处理货物所标注的生产日期。可以理解的是，本申请实施例中提到的预设货物对应列表中的数据可用于表征某一类货物的通用存放日期，为了进一步保障货物的存放效率以及监管的准确性，可根据识别出的生产日期确定出待处理货物的剩余存放日期，且还可生成相应的提示信息以及时通知仓库管理人员进行管理。
请参阅图5，图5示出了本申请实施例提供的一种基于知识蒸馏的货物存放装置的结构示意图。
如图5所示，该基于知识蒸馏的货物存放装置至少可以包括图像获取模块501、图像处理模块502、数据分析模块503以及货物存放模块504，其中：
图像获取模块501，用于获取包含至少两种待处理货物的待处理图像；
图像处理模块502，用于将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；其中，第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，待处理图像包括m×n个子区域，m以及n均为正整数；
数据分析模块503，用于基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
货物存放模块504，用于根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。
在一些可能的实施例中，图像获取模块包括；
划分单元，用于将所有货物放置在预设第一区域，并按照预设划分方式对所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
获取单元，用于基于顶部相机获取与子货物群对应的待处理图像；其中，顶部相机与子货物群之间的距离处于预设距离区间。
在一些可能的实施例中，与每个子区域对应的货物特征包括每个子区域的关键点所对应的内嵌特征；
数据分析模块包括：
第一确定单元，用于基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型；
第二确定单元，用于在预设货物对应列表中筛选出与每种待处理货物的类型一致的货物名称，并确定出与每种待处理货物的类型一致的货物名称对应的存放日期参数以及存放环境参数。
在一些可能的实施例中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
装置还包括：
第一计算模块，用于在基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，基于每个子区域的关键点所对应的内嵌特征以及每个子区域的关键点所对应的偏移量特征，在待处理图像中确定出每种待处理货物占据的总面积；
第二计算模块，用于根据顶部相机与子货物群之间的距离以及每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
货物存放模块，具体用于：
根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
在一些可能的实施例中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
数据分析模块还包括：
第三确定单元，用于在基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型之前，在每个子区域中确定出置信度特征低于预设阈值的所有关键点；
剔除单元，用于对置信度特征低于预设阈值的所有关键点进行剔除处理；
第一确定单元具体用于：
基于处理后的每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。
在一些可能的实施例中，货物存放模块包括：
第一检测单元，用于当检测到待处理货物的存放日期参数处于预设第一区间时，将待处理货物放置在预设第二区域，并控制预设第二区域的环境参数与待处理货物的存放环境参数一致；其中，预设第二区域的面积大于待处理货物的实际占据面积；
第一处理单元，用于按照预设时间间隔采集预设第二区域的气体浓度参数，并将预设第二区域的气体浓度参数输入至训练好的深度学习神经网络，以根据深度学习神经网络的预测结果得到预设第二区域的气体浓度变化趋势；
第一生成单元，用于基于预设第二区域的气体浓度变化趋势对待处理货物的存放日期参数进行更新，并生成与更新后的存放日期参数对应的第一提示信息；
第二检测单元，用于当检测到待处理货物的存放日期参数处于预设第二区间时，将待处理货物放置在预设第三区域，并控制预设第三区域的环境参数与待处理货物的存放环境参数一致；其中，预设第三区域的面积大于待处理货物的实际占据面积；
第二处理单元，用于对待处理货物进行图像识别处理，以得到待处理货物标注的生产日期；
第二生成单元，用于根据待处理货物标注的生产日期确定出第二提示信息。
在一些可能的实施例中，第一卷积神经网络包括一个沙漏结构，第二卷积神经网络包括四个沙漏结构；第一卷积神经网络的损失函数包括第二卷积神经网络经过训练后得到的损失参数，第二卷积神经网络由多个已知货物特征的样本图像训练得到。
本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。
请参阅图6，图6示出了本申请实施例提供的又一种基于知识蒸馏的货物存放装置的结构示意图。
如图6所示，该基于知识蒸馏的货物存放装置600可以包括至少一个处理器601、至少一个网络接口604、用户接口603、存储器605以及至少一个通信总线602。
其中，通信总线602可用于实现上述各个组件的连接通信。
其中，用户接口603可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。
其中，网络接口604可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。
其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行路由设备600的各种功能和处理数据。可选的，处理器601可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器601可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。
其中，存储器605可以包括RAM，也可以包括ROM。可选的，该存储器605包括非瞬时性计算机可读介质。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图3所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及基于知识蒸馏的货物存放应用程序。
具体地，处理器601可以用于调用存储器605中存储的基于知识蒸馏的货物存放应用程序，并具体执行以下操作：
获取包含至少两种待处理货物的待处理图像；
将待处理图像输入至训练好的第一卷积神经网络，得到待处理图像中与每个子区域对应的货物特征；其中，第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，待处理图像包括m×n个子区域，m以及n均为正整数；
基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理。
在一些可能的实施例中，获取包含至少两种待处理货物的待处理图像，包括：
将所有货物放置在预设第一区域，并按照预设划分方式对所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
基于顶部相机获取与子货物群对应的待处理图像；其中，顶部相机与子货物群之间的距离处于预设距离区间。
在一些可能的实施例中，与每个子区域对应的货物特征包括每个子区域的关键点所对应的内嵌特征；
基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数，包括：
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型；
在预设货物对应列表中筛选出与每种待处理货物的类型一致的货物名称，并确定出与每种待处理货物的类型一致的货物名称对应的存放日期参数以及存放环境参数。
在一些可能的实施例中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
在基于与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，还包括：
基于每个子区域的关键点所对应的内嵌特征以及每个子区域的关键点所对应的偏移量特征，在待处理图像中确定出每种待处理货物占据的总面积；
根据顶部相机与子货物群之间的距离以及每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
根据与每个子区域对应的货物特征以及每种待处理货物的存放参数，对每种待处理货物进行存放处理，包括：
根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
在一些可能的实施例中，与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型之前，还包括：
在每个子区域中确定出置信度特征低于预设阈值的所有关键点；
对置信度特征低于预设阈值的所有关键点进行剔除处理；
基于每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型，包括：
基于处理后的每个子区域的关键点所对应的内嵌特征确定出至少两种待处理货物中每种待处理货物的类型。
在一些可能的实施例中，根据每种待处理货物的实际占据面积、每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理，包括：
当检测到待处理货物的存放日期参数处于预设第一区间时，将待处理货物放置在预设第二区域，并控制预设第二区域的环境参数与待处理货物的存放环境参数一致；其中，预设第二区域的面积大于待处理货物的实际占据面积；
按照预设时间间隔采集预设第二区域的气体浓度参数，并将预设第二区域的气体浓度参数输入至训练好的深度学习神经网络，以根据深度学习神经网络的预测结果得到预设第二区域的气体浓度变化趋势；
基于预设第二区域的气体浓度变化趋势对待处理货物的存放日期参数进行更新，并生成与更新后的存放日期参数对应的第一提示信息；
当检测到待处理货物的存放日期参数处于预设第二区间时，将待处理货物放置在预设第三区域，并控制预设第三区域的环境参数与待处理货物的存放环境参数一致；其中，预设第三区域的面积大于待处理货物的实际占据面积；
对待处理货物进行图像识别处理，以得到待处理货物标注的生产日期；
根据待处理货物标注的生产日期确定出第二提示信息。
在一些可能的实施例中，第一卷积神经网络包括一个沙漏结构，第二卷积神经网络包括四个沙漏结构；第一卷积神经网络的损失函数包括第二卷积神经网络经过训练后得到的损失参数，第二卷积神经网络由多个已知货物特征的样本图像训练得到。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种基于知识蒸馏的货物存放方法，其特征在于，包括：
获取包含至少两种待处理货物的待处理图像；
将所述待处理图像输入至训练好的第一卷积神经网络，得到所述待处理图像中与每个子区域对应的货物特征；其中，所述第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，所述待处理图像包括m×n个子区域，所述m以及所述n均为正整数；
基于所述与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，所述预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
根据所述与每个子区域对应的货物特征以及所述每种待处理货物的存放参数，对每种待处理货物进行存放处理。
2.根据权利要求1所述的方法，其特征在于，所述获取包含至少两种待处理货物的待处理图像，包括：
将所有货物放置在预设第一区域，并按照预设划分方式对所述所有货物进行划分处理，以得到包含至少两种待处理货物的子货物群；
基于顶部相机获取与所述子货物群对应的待处理图像；其中，所述顶部相机与所述子货物群之间的距离处于预设距离区间。
3.根据权利要求1或2所述的方法，其特征在于，所述与每个子区域对应的货物特征包括每个子区域的关键点所对应的内嵌特征；
所述基于所述与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数，包括：
基于所述每个子区域的关键点所对应的内嵌特征确定出所述至少两种待处理货物中每种待处理货物的类型；
在预设货物对应列表中筛选出与所述每种待处理货物的类型一致的货物名称，并确定出与所述每种待处理货物的类型一致的货物名称对应的存放日期参数以及存放环境参数。
4.根据权利要求3所述的方法，其特征在于，所述与每个子区域对应的货物特征还包括每个子区域的关键点所对应的偏移量特征；
在所述基于所述与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数之后，所述根据所述与每个子区域对应的货物特征以及所述每种待处理货物的存放参数，对每种待处理货物进行存放处理之前，还包括：
基于所述每个子区域的关键点所对应的内嵌特征以及所述每个子区域的关键点所对应的偏移量特征，在所述待处理图像中确定出每种待处理货物占据的总面积；
根据所述顶部相机与所述子货物群之间的距离以及所述每种待处理货物占据的总面积，计算出每种待处理货物的实际占据面积；
所述根据所述与每个子区域对应的货物特征以及所述每种待处理货物的存放参数，对每种待处理货物进行存放处理，包括：
根据所述每种待处理货物的实际占据面积、所述每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理。
5.根据权利要求4所述的方法，其特征在于，所述与每个子区域对应的货物特征还包括每个子区域的关键点所对应的置信度特征；
所述基于所述每个子区域的关键点所对应的内嵌特征确定出所述至少两种待处理货物中每种待处理货物的类型之前，还包括：
在所述每个子区域中确定出置信度特征低于预设阈值的所有关键点；
对所述置信度特征低于预设阈值的所有关键点进行剔除处理；
所述基于所述每个子区域的关键点所对应的内嵌特征确定出所述至少两种待处理货物中每种待处理货物的类型，包括：
基于处理后的所述每个子区域的关键点所对应的内嵌特征确定出所述至少两种待处理货物中每种待处理货物的类型。
6.根据权利要求4所述的方法，其特征在于，所述根据所述每种待处理货物的实际占据面积、所述每种待处理货物的存放日期参数以及存放环境参数，对每种待处理货物进行存放处理，包括：
当检测到所述待处理货物的存放日期参数处于预设第一区间时，将所述待处理货物放置在预设第二区域，并控制所述预设第二区域的环境参数与所述待处理货物的存放环境参数一致；其中，所述预设第二区域的面积大于所述待处理货物的实际占据面积；
按照预设时间间隔采集所述预设第二区域的气体浓度参数，并将所述预设第二区域的气体浓度参数输入至训练好的深度学习神经网络，以根据所述深度学习神经网络的预测结果得到所述预设第二区域的气体浓度变化趋势；
基于所述预设第二区域的气体浓度变化趋势对所述待处理货物的存放日期参数进行更新，并生成与所述更新后的存放日期参数对应的第一提示信息；
当检测到所述待处理货物的存放日期参数处于预设第二区间时，将所述待处理货物放置在预设第三区域，并控制所述预设第三区域的环境参数与所述待处理货物的存放环境参数一致；其中，所述预设第三区域的面积大于所述待处理货物的实际占据面积；
对所述待处理货物进行图像识别处理，以得到所述待处理货物标注的生产日期；
根据所述待处理货物标注的生产日期确定出第二提示信息。
7.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络包括一个沙漏结构，所述第二卷积神经网络包括四个所述沙漏结构；所述第一卷积神经网络的损失函数包括所述第二卷积神经网络经过训练后得到的损失参数，所述第二卷积神经网络由多个已知货物特征的所述样本图像训练得到。
8.一种基于知识蒸馏的货物存放装置，其特征在于，包括：
图像获取模块，用于获取包含至少两种待处理货物的待处理图像；
图像处理模块，用于将所述待处理图像输入至训练好的第一卷积神经网络，得到所述待处理图像中与每个子区域对应的货物特征；其中，所述第一卷积神经网络由多个已知货物特征的样本图像以及第二卷积神经网络训练得到，所述待处理图像包括m×n个子区域，所述m以及所述n均为正整数；
数据分析模块，用于基于所述与每个子区域对应的货物特征，在预设货物对应列表中确定出每种待处理货物的存放参数；其中，所述预设货物对应列表中包括至少两种货物以及与每种货物对应的存放参数；
货物存放模块，用于根据所述与每个子区域对应的货物特征以及所述每种待处理货物的存放参数，对每种待处理货物进行存放处理。
9.一种基于知识蒸馏的货物存放装置，其特征在于，包括处理器以及存储器；
所述处理器与所述存储器相连；
所述存储器，用于存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202210924201.5A 2022-08-03 2022-08-03 一种基于知识蒸馏的货物存放方法及装置 Active CN114972931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924201.5A CN114972931B (zh) 2022-08-03 2022-08-03 一种基于知识蒸馏的货物存放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924201.5A CN114972931B (zh) 2022-08-03 2022-08-03 一种基于知识蒸馏的货物存放方法及装置

Publications (2)

Publication Number Publication Date
CN114972931A true CN114972931A (zh) 2022-08-30
CN114972931B CN114972931B (zh) 2022-12-30

Family

ID=82969237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924201.5A Active CN114972931B (zh) 2022-08-03 2022-08-03 一种基于知识蒸馏的货物存放方法及装置

Country Status (1)

Country Link
CN (1) CN114972931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187176A (zh) * 2022-09-07 2022-10-14 国连科技(浙江)有限公司 一种优化货物存放空间的货物转移方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
US20210124944A1 (en) * 2019-10-25 2021-04-29 7-Eleven, Inc. Detection of object removal and replacement from a shelf
US20210201501A1 (en) * 2018-06-29 2021-07-01 Hangzhou Eyecloud Technologies Co., Ltd. Motion-based object detection method, object detection apparatus and electronic device
US20210241015A1 (en) * 2020-02-03 2021-08-05 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium
CN113569882A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于知识蒸馏的快速行人检测方法
CN114298198A (zh) * 2021-12-23 2022-04-08 国网河北省电力有限公司营销服务中心 一种货物智能存储库房
CN114550102A (zh) * 2022-03-01 2022-05-27 上海中通吉网络技术有限公司 货物堆积检测方法、装置、设备和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210201501A1 (en) * 2018-06-29 2021-07-01 Hangzhou Eyecloud Technologies Co., Ltd. Motion-based object detection method, object detection apparatus and electronic device
CN109919040A (zh) * 2019-02-15 2019-06-21 北京清瞳时代科技有限公司 货物的品规信息识别方法及装置
CN110443119A (zh) * 2019-06-25 2019-11-12 中车工业研究院有限公司 车厢内货物状态识别方法及装置
US20210124944A1 (en) * 2019-10-25 2021-04-29 7-Eleven, Inc. Detection of object removal and replacement from a shelf
US20210241015A1 (en) * 2020-02-03 2021-08-05 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium
CN113569882A (zh) * 2020-04-28 2021-10-29 上海舜瞳科技有限公司 一种基于知识蒸馏的快速行人检测方法
CN114298198A (zh) * 2021-12-23 2022-04-08 国网河北省电力有限公司营销服务中心 一种货物智能存储库房
CN114550102A (zh) * 2022-03-01 2022-05-27 上海中通吉网络技术有限公司 货物堆积检测方法、装置、设备和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YEONGMIN KO 等: "Key Points Estimation and Point Instance Segmentation Approach for Lane Detection", 《ARXIV》 *
于瑞涛等: "基于启示图的软包装货物的机器人抓取", 《工业控制计算机》 *
陈志新等: "基于深度学习的复杂分拣图像快速识别方法研究", 《电子技术应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187176A (zh) * 2022-09-07 2022-10-14 国连科技(浙江)有限公司 一种优化货物存放空间的货物转移方法及装置

Also Published As

Publication number Publication date
CN114972931B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN110310259B (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN109784293B (zh) 多类目标对象检测方法、装置、电子设备、存储介质
CN111368980B (zh) 状态检测方法、装置、设备及存储介质
CN111398176B (zh) 基于像元尺度特征的水体水色异常遥感识别方法和装置
CN110276369B (zh) 基于机器学习的特征选择方法、装置、设备及存储介质
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN111160469A (zh) 一种目标检测系统的主动学习方法
CN114972931B (zh) 一种基于知识蒸馏的货物存放方法及装置
CN115331172A (zh) 一种基于监控视频的车间危险行为识别报警方法及系统
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN112508456A (zh) 食品安全风险评估方法、系统、计算机设备及存储介质
CN114638391A (zh) 运单风险场景识别处理方法、装置、计算机设备和介质
CN111008953A (zh) 一种数字病理图像质控的方法及装置
CN111353577B (zh) 基于多任务的级联组合模型的优化方法、装置及终端设备
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN110879821A (zh) 评分卡模型衍生标签生成方法、装置、设备及存储介质
US20220245782A1 (en) Method and apparatus for classifying image of displaying base plate
CN114240928A (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN114241354A (zh) 仓库人员行为识别方法、装置、计算机设备、存储介质
CN112529699A (zh) 企业授信模型的构建方法、装置、设备及可读存储介质
CN113343767A (zh) 物流违规操作的识别方法、装置、设备和存储介质
CN113837173A (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN111797922A (zh) 文本图像分类方法及装置
CN116150341B (zh) 理赔事件检测方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant