CN113850793A - 一种码垛规划方法、装置及电子设备 - Google Patents

一种码垛规划方法、装置及电子设备 Download PDF

Info

Publication number
CN113850793A
CN113850793A CN202111152427.XA CN202111152427A CN113850793A CN 113850793 A CN113850793 A CN 113850793A CN 202111152427 A CN202111152427 A CN 202111152427A CN 113850793 A CN113850793 A CN 113850793A
Authority
CN
China
Prior art keywords
stacking
model
parameter
planning
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111152427.XA
Other languages
English (en)
Inventor
张河清
谭龙田
朱发
陈高
陈彦宇
马雅奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202111152427.XA priority Critical patent/CN113850793A/zh
Publication of CN113850793A publication Critical patent/CN113850793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种码垛规划方法、装置及电子设备，方法包括：获取待码垛的对象的目标图像，将目标图像输入预先训练好的特征预测模型，得到特征预测模型输出的上述对象的特征数据，将特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到规划模型输出的上述对象对应的码垛参数，以基于码垛参数对上述对象码垛。采用本方案进行码垛规划时，只需要获取待码垛的对象的图像和码垛尺寸限制参数即可输出用于指导进行码垛的码垛参数，方便快捷，即使用户没有码垛规划经验也可以快速得到最优的码垛方案，提升了码垛设计的效率，减少了人力和时间的消耗。

Description

一种码垛规划方法、装置及电子设备
技术领域
本申请涉及码垛技术领域，尤其涉及一种码垛规划方法、装置及电子设备。
背景技术
现有货物的码垛规划方法主要依靠技术人员对货物进行堆垛设计。但是由于货物种类繁多、货物外形复杂，货物码垛的方法繁多、不同货物码垛的标准不统一等众多问题，导致码垛设计繁琐，要求码垛设计技术人员需要有丰富的码垛设计规划经验，加大了码垛规划的门槛。在对新货物进行码垛设计时，还需要多次对新货物进行码垛摆放尝试，才能设计出最优的码垛方案。整体上依赖人工经验进行码垛设计效率低下，需要花费大量的人力以及时间。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种码垛规划方法、装置及电子设备。
第一方面，本申请提供了一种码垛规划方法，包括：
获取待码垛的对象的目标图像；
将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
作为一种可选的实现方式，所述获取待码垛的对象的目标图像，包括：
获取多个图像采集设备从不同角度采集的所述对象的多张图像；
将多张所述图像按照预设顺序进行拼接，得到合成图像；
将所述合成图像作为所述对象的目标图像。
作为一种可选的实现方式，所述特征预测模型采用下述方式训练：
获取图像样本和所述图像样本的实际特征数据；
将所述图像样本输入预设的第一初始模型，得到所述第一初始模型输出的结果，所述结果为所述图像样本的预测特征数据；
在所述预测特征数据与所述实际特征数据之间的差异值大于第一预设值的情况下，调整所述第一初始模型的模型参数，直至得到所述特征预测模型，其中，所述特征预测模型输出的所述图像样本的预测特征数据与所述实际特征数据之间的差异值不大于所述第一预设值。
作为一种可选的实现方式，所述第一初始模型为MobileNet模型。
作为一种可选的实现方式，所述码垛规划模型采用下述方式训练：
确定对象样本；
获取所述对象样本的目标图像和实际码垛参数；
将所述对象样本的目标图像输入所述特征预测模型，得到输出结果，所述输出结果包括所述对象样本的特征数据；
将所述对象样本的特征数据与获取的码垛尺寸限制参数结合，组成二维数组；
将所述二维数组属于预设的第二初始模型，得到所述第二初始模型输出的结果，所述结果包含所述对象样本的预测码垛参数；
在所述预测码垛参数与所述实际码垛参数之间的差异值大于第二预设值的情况下，调整所述第二初始模型的模型参数，直至得到所述码垛规划模型，其中，所述码垛规划模型输出的所述对象样本的预测码垛参数与所述实际码垛参数之间的差异值不大于所述第二预设值。
作为一种可选的实现方式，所述第二初始模型为CycleGAN模型。
作为一种可选的实现方式，所述方法还包括：
基于所述码垛参数进行三维仿真渲染，得到码垛三维图形。
作为一种可选的实现方式，所述方法还包括：
接收评分指令，按照预设的评分规则对所述码垛三维图形进行评分，得到所述码垛三维图形的分数，所述分数与码垛质量正相关；
若确定所述分数大于等于预设阈值，则确定所述码垛参数为最终码垛参数，以基于所述码垛参数对所述对象码垛。
第二方面，本申请实施例还提供了一种码垛规划装置，包括：
图像获取模块，用于获取待码垛的对象的目标图像；
特征预测模块，用于将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
码垛参数预测模块，用于将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的码垛规划程序，以实现第一方面所述的码垛规划方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的一种码垛规划方法，获取待码垛的对象的目标图像，将目标图像输入预先训练好的特征预测模型，得到特征预测模型输出的上述对象的特征数据，将特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到规划模型输出的上述对象对应的码垛参数，以基于码垛参数对上述对象码垛。采用本方案进行码垛规划时，只需要获取待码垛的对象的图像和码垛尺寸限制参数即可输出用于指导进行码垛的码垛参数，方便快捷，即使用户没有码垛规划经验也可以快速得到最优的码垛方案，提升了码垛设计的效率，减少了人力和时间的消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种码垛规划方法的流程图。
图2是根据一示例性实施例示出的一种码垛规划方法的流程图。
图3是根据一示例性实施例示出的一种码垛规划方法的流程图。
图4是根据一示例性实施例示出的一种码垛规划方法的流程图。
图5是根据一示例性实施例示出的一种码垛规划方法的流程图。
图6是根据一示例性实施例示出的一种码垛规划装置的示意图。
图7是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
目前在对货物码垛时，通常是由技术人员人为设计码垛方案，此种方式消耗的人力和时间均比较多，导致效率比较低，而且技术人员码垛设计能力不一，导致码垛设计出来的质量参差不齐，码垛稳固性无法保证，出现倒垛的现象。倒垛不仅对货物造成毁灭性的破坏，并且对员工人身安全造成严重威胁。不科学合理的码垛还严重的浪费了库场和仓库的空间，增加企业堆放成本。同时人为设计出的码垛不能快速自动化的给出各货物坐标参数，和其他机器配合的效率低，实际进行堆垛中整体自动化智能程度低。
为了提高码垛规划的效率，提升码垛方案的合理性，本申请提供了一种码垛规划方法，下面结合附图和实施例对本申请提供的码垛规划方法进行说明。
参见图1，为本申请实施例提供的一种码垛规划方法的流程图，如图1所示，该方法可以包括如下步骤：
S11.获取待码垛的对象的目标图像。
本申请实施例提供的码垛规划方法，可以应用于对货物进行码垛的场景。因此，待码垛的对象可以为货物。
在实际应用中，对货物进行码垛时，通常是将同一种货物码在一起，因此在对货物进行码垛规划时，可以只获取其中一个货物的目标图像。
作为一个实施例，在获取对象的目标图像时，可以获取多个图像采集设备从不同角度采集的该对象的多张图像，然后将多张图像按照预设顺序进行拼接，得到合成图像，将合成图像作为对象的目标图像。
一个例子，在获取需要码垛的货物的目标图像时，可以采用6台图像采集设备(比如摄像机)分别从上、下、左、右、前和后6个方向对一个货物进行图像采集，从而得到该货物的6张图像，然后将6张图像按照图2所示的顺序进行拼接，从而得到该货物的目标图像。
S12.将目标图像输入预先训练好的特征预测模型，得到特征预测模型输出的对象的特征数据。
作为一个实施例，在执行S12之前可以先训练特征预测模型，然后对训练好的特征预测模型进行存储。特征预测模型是用于预测对象的特征数据的模型。其中，特征数据包括但不限于：对象的重量、体积、承重能力指数、价格、材料等。
至于如何训练特征预测模型，将在下文中进行描述，此处先不详述。
在本申请实施例中，在得到对象的目标图像后，将目标图像输入得到预先训练好的特征预测模型中，从而得到特征预测模型输入的待码垛对象的特征数据。
S13.将特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到码垛规划模型输出的对象对应的码垛参数，以基于码垛参数对对象码垛。
作为一个实施例，在执行S13之前可以先训练码垛规划模型，然后对训练好的码垛规划模型进行存储。码垛规划模型为用于预测对象的码垛参数的模型，其中码垛参数包括但不限于：以码垛后形成的垛中心点为原点坐标的每个对象的中心坐标以及多个(比如3000个)表面坐标等。
至于如何训练码垛规划模型，将在下文中进行描述，此处先不详述。
在本申请实施例中，在得到待码垛对象的特征数据之后，获取码垛尺寸限制参数(比如码垛的最大长度、宽度和高度)，然后将特征数据和码垛尺寸限制参数一同输入到码垛规划模型，从而得到码垛规划模型输入的与待码垛的对象对应的码垛参数，其中码垛参数为对对象进行码垛所依据的参数，在得到码垛参数之后，即可基于码垛参数对待码垛对象进行码垛。
作为一种可选的实现方式，码垛尺寸限制参数可以是预先设置并存储在指定位置的，如此，在获取码垛尺寸限制参数时，便可以直接从指定位置中获取存储的码垛尺寸限制参数。
作为另一种可选的实现方式，码垛尺寸限制参数也可以是用户(比如码垛的技术人员)根据实际需求输入的，如此，在获取码垛尺寸限制参数时，便可以获取用户通过预设的参数输入窗口输入的码垛尺寸限制参数。
本申请实施例提供的一种码垛规划方法，获取待码垛的对象的目标图像，将目标图像输入预先训练好的特征预测模型，得到特征预测模型输出的对象的特征数据，将特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述规划模型输出的上述对象对应的码垛参数，以基于码垛参数对上述对象码垛。采用本方案进行码垛规划时，只需要获取待码垛的对象的图像和码垛尺寸限制参数即可输出用于指导进行码垛的码垛参数，方便快捷，即使用户没有码垛规划经验也可以快速得到最优的码垛方案，提升了码垛设计的效率，减少了人力和时间的消耗。
参见图3，为本申请另一实施例提供的一种码垛规划方法的流程图，如图3所示，在图1所示的码垛规划方法的基础上，训练特征预测模型可以包括如下步骤：
S31.获取图像样本和图像样本的实际特征数据。
S32.将图像样本输入预设的第一初始模型，得到第一初始模型输出的结果，该结果为图像样本的预测特征数据。
作为一个实施例，第一初始模型为神经网络模型，优选的为MobileNet模型。MobileNet模型是google在2017年提出的轻量级模型，其具有模型计算复杂度低，模型体积小等优点。
S33.在预测特征数据与实际特征数据之间的差异值大于第一预设值的情况下，调整第一初始模型的模型参数，直至得到特征预测模型，其中，特征预测模型输出的图像样本的预测特征数据与实际特征数据之间的差异值不大于第一预设值。
下面对S31-S33进行统一说明：
作为一个实施例，用于训练特征预测模型的图像样本以及图像样本的实际特征数据可以是预先设置并存储在第一设定位置中，在训练特征预测模型时可以直接从第一设定位置中获取存储的图像样本。其中图线样本中包括多张样本图像，并且每张样本图像都是采用多张图像基于预设的顺序拼接得到的，而图像样本的实际特征数据，则指的是图像样本中每张样本图像各自对应的实际特征数据，而样本图像的实际特征数据可以由用户根据实际情况进行设置。
作为一个实施例，为了使得特征预测模型可以预测S11中待码垛对象(为便于描述下称目标对象)的特征数据，在设置的图像样本可以包括目标对象的多个样本图像，同时设置每个样本图像的实际特征数据。
在获取的图像样本和图像样本的实际特征数据后，将图像样本中的每个样本图像分别输入到预设的第一初始模型中，从而得到第一初始模型分别输入的每个样本图像的预测特征数据，然后分别计算每个样本图像的预测特征数据和实际特征数据之间的差异，从而得到每样本图像对应的差异值，将图像样本中所有样本图像的差异值的平均值作为图像样本的预测特征数据与实际特征数据之间的差异值，将该差异值与预设的第一预设值进行比较，若比较出该差异值大于第一预设值，则说明当前的模型精度不满足用户需求，而为了提高模型的精度，对第一初始模型的模型参数进行调整，然后再采用与上面相似的方式利用图像样本对参数调整后的第一初始模型进行训练，直至，图像样本的预测特征数据与实际特征数据之间的差异值不大于第一预设值，从而训练结束，得到特征预测模型，因此特征预测模型输出的图像样本的预测特征数据与实际特征数据之间的差异值不大于第一预设值。其中第一预设值可以根据实际需求设置。
至此完成对特征预测模型的训练。
参见图4，为本申请另一实施例提供的一种码垛规划方法的流程图，如图4所示，在图1、3任一所示码垛规划方法的基础上，训练码垛规划模型可以包括如下步骤：
S41.确定对象样本。
S42.获取对象样本的目标图像和实际码垛参数。
S43.将对象样本的目标图像输入所述特征预测模型，得到输出结果，输出结果包括所述对象样本的特征数据。
S44.将对象样本的特征数据与获取的码垛尺寸限制参数结合，组成二维数组。
S45.将二维数组属于预设的第二初始模型，得到第二初始模型输出的结果，结果包含对象样本的预测码垛参数。
作为一个实施例，第二初始模型可以为生成对抗类型的卷积神经网络，优选的，第二初始模型为CycleGAN模型。CycleGAN模型中包括生成器G(generator)和鉴别器(Discriminator)。还有两个数据域分别为X,Y。G负责把X域中的数据拿过来努力的将其模仿成真实数据并把它们藏在真实数据中，而D就努力的把伪造数据(也即有G模拟成的真实数据)和真实数据分开。经过二者的博弈以后，G的伪造技术越来越厉害，D的鉴别技术也越来越厉害。直到D再也分不出数据是真实的还是G生成的伪造数据的时候，上述对抗的过程达到一个动态的平衡。
S46.在预测码垛参数与实际码垛参数之间的差异值大于第二预设值的情况下，调整所述第二初始模型的模型参数，直至得到码垛规划模型，其中，码垛规划模型输出的对象样本的预测码垛参数与实际码垛参数之间的差异值不大于第二预设值。
下面对S41-S46进行统一说明：
在训练码垛规划模型时，需要先准备训练数据，因为需要对码垛规划模型和特征数据预测模型集合结合使用才能得到目标对应的码垛参数，所以在准备码垛规划模型的训练数据时，可以先确定对象样本，对象样本中包括至少一个样本对象，而为了保证码垛规划模型可以预测目标对象的码垛参数，样本对象中包括目标对象。
在确定出对象样本之后，获取对象样本的目标图像和实际码垛参数，对象样本的目标图像和实际码垛参数可以是预先设置并存储在第二设定位置的，因此直接从第二设定位置中获取，对象样本的目标图像和实际码垛参数即可。其中，对象样本的目标图像指的是对象样本中包含的样本对象的目标图像，每个样本对象的目标图像也是由该样本对象的多个图像按照预设顺序拼接而成的。对象样本的实际码垛参数，则是指每个样本对象各自对应的实际码垛参数，该实际码垛参数可以是根据经验或历史码垛规划方案确定出的码垛效果最优的码垛参数。
在确定出对象样本的目标图像之后，将目标图像输入特征预测模型，从而得到对象样本的特征数据，也即每个样本对象的特征数据。
将对象样本的特征数据与获取的码垛尺寸限制参数结合二维数据，也即将每个样本对象的特征数据分别与码垛尺寸限制参数结合，得到各样本数据对应二维数据，将该二维数据作为训练数据输入到第二预设模型中，得到对象样本的预测码垛参数，也即得到各样本对象的预测码垛参数，针对每个样本对象计算预测码垛参数与实际码垛参数之间的差值，得到各样本对象对应的差异值，将所有样本对象对应的差异值的平均值作为对象样本的预测码垛参数与所述实际码垛参数之间的差异值，将该差异值与预设的第二预设值进行比较，若比较出该差异值大于第二预设值，则确定当前模型精度还无法满足需求，因此对第二初始模型的模型参数进行调节，然后利用上面得到的二维数据继续对参数调节后的第二初始模型进行训练，训练过程与上面类似，直至，第二初始模型输出的对象样本的预测码垛参数与实际码垛参数之间的差异值不大于第二预设值，停止训练，将此时的第二初始模型确定为码垛规划模型，如此，保证了码垛规划模型预测得到的对象样本的预测码垛参数与实际码垛参数之间的差异值不大于第二预设值。
至此完成对码垛规划模型的训练。
以第二初始模型为cycleGAN模型为例，对码垛规划模型进行训练包括：在cycleGAN模型的X域输入样本对象的特征数据和码垛尺寸限制参数组成新的二维数组(类似于x域的真实数据)，二维数组经过生成器后生成三维矩阵(类似于生成的伪造数据)，三维矩阵中包含样本对象的中心坐标和表面坐标等码垛参数。将生成的三维矩阵和标注的三维码垛矩阵(即样本对象的实际码垛参数)同时输入到判别器网络。之后分别利用反向传播原理训练判别器和生成器网络。直至第二初始模型输出的预测码垛参数与实际码垛参数之间的差异值小于第二预设值。
参见图5，为本申请实施例提供的另一种码垛规划方法，如图5所示，在图1、3、4任一所示码垛规划方法的基础上，码垛规划方法还可以包括如下步骤：
S51.基于码垛参数进行三维仿真渲染，得到码垛三维图形。
作为一个实施例，可以采用现有成熟的三维渲染算法，对码垛参数进行三维仿真渲染，得到码垛参数对应的码垛三维图形。
S52.接收评分指令，按照预设的评分规则对码垛三维图形进行评分，得到码垛三维图形的分数，所述分数与码垛质量正相关。
作为一个实施例，在得到码垛三维图形后可以在显示器上对码垛三维图形进行展示，并在展示界面上显示评分按钮，当检测到评分按钮被点击后，确定接收到评分指令，并对码垛三维图形进行评分。
作为一个实施例，在对码垛三维推行进行评分时，依据的评分规则包括但不限于：
(1)码垛各个货物间的缝隙距离大小，距离越小空间利用率越高，评分越高。
(2)码垛侧面的平整度，侧面越平整，仓库中各码垛之间的干扰就越小，评分越高。
(3)码垛结构稳定性，码垛抗震动和抗冲击性越强，码垛越不容易出现倒垛，安全性越强，评分越高。
最终得到的分数越高则说明码垛的质量越好。
S53.判断码垛三维图的分数是否小于预设阈值，若不小于，则执行S54，若小于，则执行S55。
其中预设阈值为根据实际需求设置的值，若码垛三维图的分数小于预设阈值则说明码垛质量不符合需求，若码垛三维图的分数不小于预设阈值则说明码垛质量符合需求。
S54.确定码垛参数为最终码垛参数。
在确定码垛参数为最终码垛参数后，就可以基于码垛参数对目标对象进行码垛。
S55.对码垛参数进行调整，并返回S51，直至码垛三维图不小于预设阈值。
进一步的，在对码垛参数进行调整后，可以利用目标对象的特征数据和调整后的码垛参数(也即目标码垛参数)作为训练数据对码垛规划模型的参数模型进行训练，以提高码垛规划模型的准确度。
本申请实施例，通过深度学习技术，设计出最优的三维码垛仿真效果，避免了依靠人力经验进行码垛的限制。不需要通过对待码垛对象进行不同方式的摆放，来寻找最好的堆垛方式，大大的降低了人力和时间成本。运用深度学习技术设计的码垛，其设计质量可靠，达到占用空间最小，降低了企业的堆放成本。同时能够快速的给出码垛中各对象的中心坐标和表面坐标参数，方便和其他自动化码垛设备配合，实现无人干预的高度自动化码垛。
参见图6，图6是本申请的一个实施例提供的一码垛规划装置的示意图，如图6所示，该装置可以包括：
图像获取模块601，用于获取待码垛的对象的目标图像；
特征预测模块602，用于将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
码垛参数预测模块603，用于将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
作为一种可选的实现方式，图像获取模块601具体用于：
获取多个图像采集设备从不同角度采集的所述对象的多张图像；
将多张所述图像按照预设顺序进行拼接，得到合成图像；
将所述合成图像作为所述对象的目标图像。
作为一种可选的实现方式，特征预测模型采用下述方式训练：
获取图像样本和所述图像样本的实际特征数据；
将所述图像样本输入预设的第一初始模型，得到所述第一初始模型输出的结果，所述结果为所述图像样本的预测特征数据；
在所述预测特征数据与所述实际特征数据之间的差异值大于第一预设值的情况下，调整所述第一初始模型的模型参数，直至得到所述特征预测模型，其中，所述特征预测模型输出的所述图像样本的预测特征数据与所述实际特征数据之间的差异值不大于所述第一预设值。
作为一种可选的实现方式，第一初始模型为MobileNet模型。
作为一种可选的实现方式，码垛规划模型采用下述方式训练：
确定对象样本；
获取所述对象样本的目标图像和实际码垛参数；
将所述对象样本的目标图像输入所述特征预测模型，得到输出结果，所述输出结果包括所述对象样本的特征数据；
将所述对象样本的特征数据与获取的码垛尺寸限制参数结合，组成二维数组；
将所述二维数组属于预设的第二初始模型，得到所述第二初始模型输出的结果，所述结果包含所述对象样本的预测码垛参数；
在所述预测码垛参数与所述实际码垛参数之间的差异值大于第二预设值的情况下，调整所述第二初始模型的模型参数，直至得到所述码垛规划模型，其中，所述码垛规划模型输出的所述对象样本的预测码垛参数与所述实际码垛参数之间的差异值不大于所述第二预设值。
作为一种可选的实现方式，第二初始模型为CycleGAN模型。
作为一种可选的实现方式，上述装置还可以包括(图6中未示出)：
渲染模块，用于基于所述码垛参数进行三维仿真渲染，得到码垛三维图形。
作为一种可选的实现方式，上述装置还可以包括(图6中未示出)：
评分模块，用于接收评分指令，按照预设的评分规则对所述码垛三维图形进行评分，得到所述码垛三维图形的分数，所述分数与码垛质量正相关；若确定所述分数大于等于预设阈值，则确定所述码垛参数为最终码垛参数，以基于所述码垛参数对所述对象码垛。
参见图7，图7是本申请的另一实施例提供的一种电子设备的结构示意图。
如图7所示，本实施例提供的电子设备包括：至少一个处理器701、存储器702、至少一个网络接口703和其他用户接口704。电子设备700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统705。
其中，用户接口704可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器702可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器702存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统7021和应用程序7022。
其中，操作系统7021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
在本发明实施例中，通过调用存储器702存储的程序或指令，具体的，可以是应用程序7022中存储的程序或指令，处理器701用于执行各方法实施例所提供的方法步骤，例如包括：
获取待码垛的对象的目标图像；
将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的码垛规划方法。
处理器用于执行存储器中存储的码垛规划程序，以实现以下在电子设备侧执行的码垛规划方法的步骤：
获取待码垛的对象的目标图像；
将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种码垛规划方法，其特征在于，包括：
获取待码垛的对象的目标图像；
将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
2.根据权利要求1所述的方法，其特征在于，所述获取待码垛的对象的目标图像，包括：
获取多个图像采集设备从不同角度采集的所述对象的多张图像；
将多张所述图像按照预设顺序进行拼接，得到合成图像；
将所述合成图像作为所述对象的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述特征预测模型采用下述方式训练：
获取图像样本和所述图像样本的实际特征数据；
将所述图像样本输入预设的第一初始模型，得到所述第一初始模型输出的结果，所述结果为所述图像样本的预测特征数据；
在所述预测特征数据与所述实际特征数据之间的差异值大于第一预设值的情况下，调整所述第一初始模型的模型参数，直至得到所述特征预测模型，其中，所述特征预测模型输出的所述图像样本的预测特征数据与所述实际特征数据之间的差异值不大于所述第一预设值。
4.根据权利要求3所述的方法，其特征在于，所述第一初始模型为MobileNet模型。
5.根据权利要求1所述的方法，其特征在于，所述码垛规划模型采用下述方式训练：
确定对象样本；
获取所述对象样本的目标图像和实际码垛参数；
将所述对象样本的目标图像输入所述特征预测模型，得到输出结果，所述输出结果包括所述对象样本的特征数据；
将所述对象样本的特征数据与获取的码垛尺寸限制参数结合，组成二维数组；
将所述二维数组属于预设的第二初始模型，得到所述第二初始模型输出的结果，所述结果包含所述对象样本的预测码垛参数；
在所述预测码垛参数与所述实际码垛参数之间的差异值大于第二预设值的情况下，调整所述第二初始模型的模型参数，直至得到所述码垛规划模型，其中，所述码垛规划模型输出的所述对象样本的预测码垛参数与所述实际码垛参数之间的差异值不大于所述第二预设值。
6.根据权利要求5所述的方法，其特征在于，所述第二初始模型为CycleGAN模型。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述码垛参数进行三维仿真渲染，得到码垛三维图形。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收评分指令，按照预设的评分规则对所述码垛三维图形进行评分，得到所述码垛三维图形的分数，所述分数与码垛质量正相关；
若确定所述分数大于等于预设阈值，则确定所述码垛参数为最终码垛参数，以基于所述码垛参数对所述对象码垛。
9.一种码垛规划装置，其特征在于，包括：
图像获取模块，用于获取待码垛的对象的目标图像；
特征预测模块，用于将所述目标图像输入预先训练好的特征预测模型，得到所述特征预测模型输出的所述对象的特征数据；
码垛参数预测模块，用于将所述特征数据和获取的码垛尺寸限制参数输入预先训练好的码垛规划模型，得到所述码垛规划模型输出的所述对象对应的码垛参数，以基于所述码垛参数对所述对象码垛。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的码垛规划程序，以实现权利要求1-8任一所述的码垛规划方法。
CN202111152427.XA 2021-09-29 2021-09-29 一种码垛规划方法、装置及电子设备 Pending CN113850793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111152427.XA CN113850793A (zh) 2021-09-29 2021-09-29 一种码垛规划方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111152427.XA CN113850793A (zh) 2021-09-29 2021-09-29 一种码垛规划方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113850793A true CN113850793A (zh) 2021-12-28

Family

ID=78977045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111152427.XA Pending CN113850793A (zh) 2021-09-29 2021-09-29 一种码垛规划方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113850793A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329683A (zh) * 2022-10-17 2022-11-11 中国民航大学 航空行李在线装载规划方法、装置、设备及介质
CN115446244A (zh) * 2022-09-07 2022-12-09 山东品正金属制品有限公司 一种电动汽车电机主轴的锻造码垛机控制方法及系统
CN115571643A (zh) * 2022-09-05 2023-01-06 梅卡曼德（北京）机器人科技有限公司 垛型确定方法、装置及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115571643A (zh) * 2022-09-05 2023-01-06 梅卡曼德（北京）机器人科技有限公司 垛型确定方法、装置及设备
CN115446244A (zh) * 2022-09-07 2022-12-09 山东品正金属制品有限公司 一种电动汽车电机主轴的锻造码垛机控制方法及系统
CN115329683A (zh) * 2022-10-17 2022-11-11 中国民航大学 航空行李在线装载规划方法、装置、设备及介质
CN115329683B (zh) * 2022-10-17 2022-12-13 中国民航大学 航空行李在线装载规划方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN113850793A (zh) 一种码垛规划方法、装置及电子设备
CN106780612B (zh) 一种图像中的物体检测方法及装置
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN110188720A (zh) 一种基于卷积神经网络的目标检测方法及系统
JP2020113286A (ja) マルチスケール特徴マップを利用してｃｎｎのパラメータを調節するための学習方法、学習装置及びこれを利用したテスティング方法、テスティング装置
CN110516665A (zh) 识别图像叠加文字区域的神经网络模型构建方法与系统
CN110084829A (zh) 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN110286387A (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
KR20190043468A (ko) 풀링 타입에 대한 정보를 포함하는 테이블을 작성하기 위한 방법, 장치 및 이를 이용한 테스팅 방법, 테스팅 장치
CN104899853A (zh) 图像区域的划分方法及装置
CN114139637B (zh) 多智能体信息融合方法、装置、电子设备及可读存储介质
CN109579718A (zh) 焊缝参数的检测方法、装置、计算机设备和存储介质
CN110597937B (zh) 一种无人智能巡检的方法、装置、设备及存储介质
CN107832794A (zh) 一种卷积神经网络生成方法、车系识别方法及计算设备
CN110084299A (zh) 基于多头融合注意力的目标检测方法和装置
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN112990298A (zh) 关键点检测模型训练方法、关键点检测方法及装置
CN106683108A (zh) 确定视频帧中平坦区域的方法、装置及电子设备
Qi et al. A DNN-based object detection system on mobile cloud computing
CN114492059B (zh) 基于场能的多智能体对抗场景态势评估方法及装置
CN107797556B (zh) 一种利用巡维机器人实现服务器启停的方法
CN111507135A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
TW202127312A (zh) 影像處理方法及存儲介質
CN103839278A (zh) 一种前景检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination