CN115471730A - 料笼堆叠的确认方法、装置、计算机设备和存储介质 - Google Patents

料笼堆叠的确认方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115471730A
CN115471730A CN202110648779.8A CN202110648779A CN115471730A CN 115471730 A CN115471730 A CN 115471730A CN 202110648779 A CN202110648779 A CN 202110648779A CN 115471730 A CN115471730 A CN 115471730A
Authority
CN
China
Prior art keywords
stacking
material cage
cage
image
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110648779.8A
Other languages
English (en)
Inventor
陈鹏
李陆洋
方牧
鲁豫杰
郑帆
杨秉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionnav Robotics Shenzhen Co Ltd
Original Assignee
Visionnav Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionnav Robotics Shenzhen Co Ltd filed Critical Visionnav Robotics Shenzhen Co Ltd
Priority to CN202110648779.8A priority Critical patent/CN115471730A/zh
Priority to US17/832,951 priority patent/US20220396431A1/en
Priority to KR1020220068720A priority patent/KR20220166732A/ko
Priority to JP2022091950A priority patent/JP7366195B2/ja
Priority to EP22177559.6A priority patent/EP4101795A1/en
Publication of CN115471730A publication Critical patent/CN115471730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/07—Floor-to-roof stacking devices, e.g. "stacker cranes", "retrievers"
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G57/00—Stacking of articles
    • B65G57/02—Stacking of articles by adding to the top of the stack
    • B65G57/16—Stacking of articles of particular shape
    • B65G57/20—Stacking of articles of particular shape three-dimensional, e.g. cubiform, cylindrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0304—Stacking devices
    • B65G2814/0305—Adding to the top

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本申请涉及一种料笼堆叠的确认方法、装置、计算机设备和存储介质。所述方法包括：在将第一料笼堆叠于第二料笼上之前，会对第一料笼和第二料笼各自的堆叠装置进行拍摄，从而得到对应的料笼图像。再通过两个检测模型分别对料笼图像中两个料笼的堆叠装置进行识别，通过第一检测模型实现两个料笼的堆叠装置的位置定位后得到第一堆叠结果，并通过第二检测模型直接输出两个料笼的堆叠装置所对应的第二堆叠结果。这样，就可基于两个检测模型分别采用不同方式所得到的堆叠结果进行综合，以得到最终堆叠结果。这样，不需要人为确认两个料笼是否可以堆叠，就可以通过两个检测模型快速且准确地判断出料笼是否可以堆叠，大大提高了料笼堆叠的确认效率。

Description

料笼堆叠的确认方法、装置、计算机设备和存储介质
技术领域
本申请涉及仓储物流技术领域，特别是涉及一种料笼堆叠的确认方法、装置、计算机设备和存储介质。
背景技术
随着仓储物流技术的发展，在仓储作业的过程中，常常采用料笼对货物进行运输和存放，并且通过堆叠料笼能够实现立体化仓储，减小对仓储空间的占用。
在传统的仓储情景中，每当驾驶员驾驶叉车对料笼进行堆叠时，都需要将头部伸出叉车外查看料笼的状态，从而确定料笼是否可以进行堆叠。然而，每次进行料笼堆叠时，都需要驾驶员人为的操作来确认堆叠，降低了料笼堆叠的效率。
发明内容
基于此，有必要针对上述技术问题，提供一种料笼堆叠的确认方法、装置、计算机设备和存储介质。
一种料笼堆叠的确认方法，该方法包括：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置；确定该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果；通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
在其中一个实施例中，该料笼图像包括第一料笼图像和第二料笼图像；该在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像，包括：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，该第一方位与该第二方位为互不相同的两个方位。
在其中一个实施例中，该堆叠装置包括脚杯、以及与该脚杯配套的墩，该在将第一料笼堆叠与第二料笼上之前，对该第一料笼和第二料笼中第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中第二方位的堆叠装置进行拍摄，获得第二料笼图像，包括：
在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
在其中一个实施例中，通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置，包括：
通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置。
在其中一个实施例中，该第一料笼的第一面上设置有第一脚杯，第二面上设置有第一墩；该第二料笼的第一面上设置有第二脚杯，第二面上设置有第二墩；确定基于该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果，包括：
确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息；基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，该堆叠组合中第一脚杯和第二墩位于同一个竖直方位；将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；基于各个堆叠组合的比对结果确定第一堆叠结果。
在其中一个实施例中，该通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果之前，还包括：
获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
在其中一个实施例中，该基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果，包括：
通过堆叠确认模型，将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据；将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
一种料笼堆叠的确认装置，该装置包括：
获得模块，用于在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；
第一处理模块，用于通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置；
第一确定模块，用于基于该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，确定第一堆叠结果；
第二处理模块，用于通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；
第二确定模块，用于基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现如上述任一所述的料笼堆叠的确认的方法。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一所述的料笼堆叠的确认的方法。
上述料笼堆叠的确认方法、装置、计算机设备和存储介质，在将第一料笼堆叠于第二料笼上之前，会对第一料笼和第二料笼各自的堆叠装置进行拍摄，从而得到对应的料笼图像。这样就可以通过两个检测模型分别对料笼图像中两个料笼的堆叠装置进行识别，通过第一检测模型实现两个料笼的堆叠装置的位置定位后得到第一堆叠结果，并通过第二检测模型直接输出两个料笼的堆叠装置所对应的第二堆叠结果。这样，就可基于两个检测模型分别采用不同方式所得到的堆叠结果进行综合，以得到最终堆叠结果。这样，不需要人为确认两个料笼是否可以堆叠，就可以通过两个检测模型快速且准确地判断出料笼是否可以堆叠，大大提高了料笼堆叠的确认效率。
附图说明
图1为一个实施例中料笼堆叠的确认方法的应用环境图；
图2为一个实施例中料笼堆叠的确认方法的流程示意图；
图3为一个实施例中料笼结构示意图；
图4为一个实施例中仓储无人叉车结构示意图；
图5为一个实施例中获得料笼图像步骤的流程示意图；
图6为一个实施例中确定第一堆叠结果步骤的流程示意图；
图7为一个实施例中获取第二检测模型步骤的流程示意图；
图8为一个实施例中获取最终堆叠结果步骤的流程示意图；
图9为一个实施例中料笼堆叠的确认装置的结构框图；
图10为另一个实施例中料笼堆叠的确认装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的料笼堆叠的确认法，可以应用于如图1所示的应用环境中。其中，摄像设备102通过网络与计算机设备104进行通信。在将第一料笼堆叠于第二料笼上之前，摄像设备102对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像，并传输至计算机设备104；计算机设备104通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置；然后计算机设备104确定该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果；计算机设备104再通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；最后，计算机设备104基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。其中，摄像设备102可以是但不限于是各种图像采集装置，如高清摄像头、高清车载相机、电荷耦合相机(charge coupled device camera，CCD相机)、扫描仪或带有拍照功能的手机。计算机设备104具体可以是终端或服务器，其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备、仓储运输工具上的工控机，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种料笼堆叠的确认方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像。
其中，料笼是由金属钢材原材料焊接组成的一种物流容器，用于存储物品，并且通过堆叠料笼能够提高仓储空间的有效利用率。在其中一个实施例中，对于每个料笼，包括4个脚杯和4个墩，具体请参考如图3所示的料笼结构示意图。可以理解的是，料笼还可以包括更多或更少的脚杯和墩，比如，每个料笼包括有6个脚杯和6个墩等，本申请实施例对此不作限定。
具体地，在将第一料笼堆叠于第二料笼上之前，仓储无人叉车对该第一料笼和第二料笼各自的堆叠装置进行图像采集，并且仓储无人叉车中的工控机获取采集得到的料笼图像。其中，仓储无人叉车包括工控机和摄像设备，该工控机与摄像设备处于同一个内网，具体请参考如图4所示的仓储无人叉车结构示意图。例如，当仓储无人叉车需要将置于叉车上的第一料笼堆叠在第二料笼时，仓储无人叉车中的摄像设备对第一料笼和第二料笼的堆叠装置进行图像采集，再通过仓储无人叉车中的工控机获取采集得到的料笼图像。其中，该摄像设备可以是但不限于是各种图像采集装置，如高清摄像头、高清车载相机、电荷耦合相机(charge coupled device camera，CCD相机)、扫描仪或带有拍照功能的手机、平板电脑等设备,仓储无人叉车可以但不限于是各种无人驾驶设备，如无人车或无人机等。
步骤204，通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置。
其中，第一检测模型为计算机设备的检测模型，例如在仓储无人叉车的工控机上通过OpenVINO(Open Visual Inference&Neural Network Optimization，开放式视觉推理和神经网络优化，该OpenVINO是快速开发应用程序和解决方案的综合工具包)进行部署的检测模型Yolov5(You Only Look Once v5，该算法属于Yolo算法系列，一种基于深度神经网络的对象识别和定位算法，用于更快速和高效的进行目标检测)，该检测模型是通过工控机设定的程序进行运行。
具体地，计算机设备将获取的料笼图像输入至第一检测模型，进行第一目标检测，根据该料笼图像识别出与第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置。例如，仓储无人叉车的工控机将料笼图像输入至通过OpenVINO部署的第一检测模型Yolov5进行第一目标检测，通过该目标检测识别出与第一料笼对应的第一堆叠装置、以及与第二料笼对应的第二堆叠装置。
步骤206，确定该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果。
其中，第一位置信息为第一堆叠装置的坐标信息，第二位置信息为第二堆叠装置的坐标信息。第一堆叠结果为该第一料笼是否可以堆叠在第二料笼之上，若可以堆叠，则结果为Success，可以记录为1；若不可以堆叠，则第一堆叠结果为Fail，可以记录为0。
具体地，计算机设备基于通过第一检测模型识别出的第一堆叠装置和第二堆叠装置，确定第一堆叠装置的第一坐标信息和第二堆叠装置的第二坐标信息，并且根据第一坐标信息和第二坐标信息确定第一堆叠结果。例如，仓储无人叉车中的工控机基于通过第一检测模型识别出的第一堆叠装置和第二堆叠装置，计算获得第一堆叠装置的第一坐标信息和第二堆叠装置的第二坐标信息，并且根据第一坐标信息和第二坐标信息确定第一堆叠结果，当第一料笼可以堆叠于第二料笼上时，则第一堆叠结果为Success，可以记录为1；当第一料笼不能堆叠于第二料笼上时，则第一堆叠结果为Fail，可以记录为0。
步骤208，通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果。
其中，第二检测模型为工控机上通过OpenVINO(Open Visual Inference&NeuralNetwork Optimization，开放式视觉推理和神经网络优化，该OpenVINO用于快速开发应用程序和解决方案的综合工具包)进行部署的检测模型Yolov5(You Only Look Once v5，用于更快速和高效的进行目标检测)，该检测模型是通过工控机设定的程序进行运行。该第二检测模型可直接根据输入的图像获得检测结果。第一堆叠结果为该第一料笼是否可以堆叠在第二料笼之上，若可以堆叠，则结果为Success，可以记录为1；若不可以堆叠，则第一堆叠结果为Fail，可以记录为0。
具体地，计算机设备将获取的料笼图像输入至第二检测模型进行第二目标检测，提取出与料笼图像对应的图像特征，基于该图像特征直接获得第二堆叠结果。例如，仓储无人叉车的工控机将料笼图像输入至通过OpenVINO部署的第二检测模型Yolov5进行第二目标检测，提取出与料笼图像对应的图像特征，基于该图像特征，该第二检测模型直接获得第二堆叠结果。当第一料笼可以堆叠于第二料笼上时，则第二堆叠结果为Success，可以记录为1；当第一料笼不能堆叠于第二料笼上时，则第二堆叠结果为Fail，可以记录为0。
步骤210，基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
具体地，计算机设备根据第一堆叠结果与第二堆叠结果，确定第一料笼与第二料笼的最终堆叠结果。该最终堆叠结构包括仓储无人叉车的工控机触发该第一料笼堆叠至第二料笼之上的结果，以及仓储无人叉车阻止将第一料笼堆叠至第二料笼之上的结果，该阻止操作可以是提示信息，也可以是直接禁止仓储无人叉车将第一料笼堆叠至第二料笼之上的操作。
上述料笼堆叠的确认方法中，在将第一料笼堆叠于第二料笼上之前，会对第一料笼和第二料笼各自的堆叠装置进行拍摄，从而得到对应的料笼图像。这样就可以通过两个检测模型分别对料笼图像中两个料笼的堆叠装置进行识别，通过第一检测模型实现两个料笼的堆叠装置的位置定位后得到第一堆叠结果，并通过第二检测模型直接输出两个料笼的堆叠装置所对应的第二堆叠结果。这样，就可基于两个检测模型分别采用不同方式所得到的堆叠结果进行综合，以得到最终堆叠结果。这样，不需要人为确认两个料笼是否可以堆叠，就可以通过两个检测模型快速且准确地判断出料笼是否可以堆叠，大大提高了料笼堆叠的确认效率。
在一个实施例中，该料笼图像包括第一料笼图像和第二料笼图像；该在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像，包括：在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，该第一方位与该第二方位为互不相同的两个方位。
其中，摄像设备置于仓储无人叉车的两侧，即分别为第一摄像设备和第二摄像设备，具体请参考图4中仓储无人叉车上摄像设备的安装位置，该第一方位和第二方位为仓储无人叉车的两侧，该第一摄像设备为获取第二方位对应的图像，该第二摄像设备为获取第一方位对应的图像，第一方位可以为仓储无人叉车的左侧，第二方位可以为仓储无人叉车的右侧。
具体地，在将第一料笼堆叠于第二料笼上之前，仓储无人叉车的第二摄像设备对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获取第一料笼图像，仓储无人叉车的第一摄像设备对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获取第二料笼图像。例如，当仓储无人叉车需要将置于叉车上的第一料笼堆叠在第二料笼时，仓储无人叉车左侧的第二摄像设备对该第一料笼和第二料笼中右侧的堆叠装置进行拍摄，获取第一料笼图像，仓储无人叉车右侧的第一摄像设备对第一料笼和第二料笼中左侧的堆叠装置进行拍摄，获取第二料笼图像。
在本实施例中，在将第一料笼堆叠于第二料笼上之前，通过对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像，从而能够获得更详细的料笼图像，有助于确定料笼堆叠的最终堆叠结果，进而提高最终堆叠结果的可靠性及准确性。
在一个实施例中，如图5所示，该堆叠装置包括脚杯、以及与该脚杯配套的墩，该在将第一料笼堆叠与第二料笼上之前，对该第一料笼和第二料笼中第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中第二方位的堆叠装置进行拍摄，获得第二料笼图像，包括：
步骤502，在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像。
其中，堆叠装置为处于同一个料笼上的脚杯和墩，且在同一料笼中脚杯处于墩的下方，请参考图3所示的料笼结构示意图。
具体地，在将第一料笼堆叠于第二料笼上之前，仓储无人叉车的第二摄像设备对该第一料笼在第一方位的脚杯、以及对第二料笼在第一方位上的墩进行拍摄，获取第一料笼图像。例如，当仓储无人叉车需要将置于叉车上的第一料笼堆叠在第二料笼时，仓储无人叉车左侧的第二摄像设备对该第一料笼中右侧的脚杯、以及对第二料笼中右侧的墩进行拍摄，获取第一料笼图像。
步骤504，对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
其中，堆叠装置为处于同一个料笼上的脚杯和墩，且在同一料笼中脚杯处于墩的下方，请参考图3所示的料笼结构示意图。
具体地，仓储无人叉车的第一摄像设备对该第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。例如，仓储无人叉车右侧的第一摄像设备对该第一料笼中左侧的脚杯、以及对第二料笼中左侧的墩进行拍摄，获取第一料笼图像。
在本实施例中，在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像，从而能够获得更详细的料笼图像，有助于确定料笼堆叠的最终堆叠结果，进而提高最终堆叠结果的可靠性及准确性。
在一个实施例中，该通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置，包括：通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置。
其中，第一检测模型为工控机上通过OpenVINO(该OpenVINO是快速开发应用程序和解决方案的综合工具包)进行部署的检测模型Yolov5(You Only Look Once v5，用于更快速和高效的进行目标检测)，该检测模型是通过工控机设定的程序进行运行。
具体地，计算机设备将获取的料笼图像输入至第一检测模型，根据该第一检测模型实时获取该料笼图像中各个对象的特征信息，基于各个对象的特征信息对各对象进行分类，从而识别出与第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置。例如，仓储无人叉车的工控机将料笼图像输入至通过OpenVINO部署的第一检测模型Yolov5，该第一检测模型将实时获取该料笼图像中各个对象的特征信息，基于各个对象的特征信息对各对象进行分类，从而识别出与第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置。
在本实施例中，通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置，能够实时获取根据第一检测模型得到的第一堆叠装置和第二堆叠装置，从而有助于确定料笼堆叠的最终堆叠结果，进而提高最终堆叠结果的可靠性及准确性。
在一个实施例中，如图6所示，该第一料笼的第一面上设置有第一脚杯，第二面上设置有第一墩；该第二料笼的第一面上设置有第二脚杯，第二面上设置有第二墩；该确定基于该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果，包括：
步骤602，确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息。
其中，该第一堆叠装置中第一脚杯所对应的第一位置信息为第一料笼的第一面中第一脚杯对应的第一坐标信息，该第二堆叠装置中第二墩所对应的第二位置信息为第二料笼的第二面中第二墩对应的第二坐标信息。
具体地，计算机设备将第一脚杯和第二墩组成的矩形框的中点作为第一脚杯和第二墩的定位点，根据相机的内外参和地面在各个摄像设备坐标系的方程，实时获得第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息。例如，仓储无人叉车的工控机将第一脚杯和第二墩组成的矩形框的中点作为第一脚杯和第二墩的定位点，根据相机的焦距、像素等内参数和相机的位置、旋转方向等外参数、以及地面在各个摄像设备坐标系的平面方程，即在空间坐标系中任意平面可以用xyz的三元一次方程Ax+By+Cz+D＝0表示(其中A、B、C、D为常数)，实时获得第一堆叠装置中第一脚杯所对应的第一坐标信息和第二堆叠装置中第二墩所对应的第二坐标信息。
步骤604，基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，该堆叠组合中第一脚杯和第二墩位于同一个竖直方位。
其中，参考图3所示的料笼结构示意图，对于同一料笼，包括4个墩和4个脚杯。针对于第一堆叠装置中的第一脚杯和第二堆叠装置中的第二墩，位于同一竖直方位墩和脚杯组成一个堆叠组合，即分别获取四个堆叠组合。
具体地，计算机设备基于实时获取的第一位置信息和该第二位置信息，计算获得各个堆叠组合中第一脚杯和第二墩之间的距离。
在其中一个实施例中，针对于每个堆叠组合，计算机设备将第一堆叠装置中第一脚杯坐标信息和第二堆叠装置中的第二墩坐标信息进行减法运算，获取第一脚杯和第一墩的差值信息，该差值信息为每个堆叠组合中第一脚杯和第二墩之间的距离。
步骤606，将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果。
具体地，计算机设备将获取的每个堆叠组合中第一脚杯和第二墩之间的距离分别为距离阈值进行比较，获取各个堆叠组合的比对结果。当每个堆叠组合中第一脚杯和第二墩之间的距离小于距离阈值时，则该堆叠组合的比对结果为该堆叠组合可以堆叠，当每个堆叠组合中第一脚杯和第二墩之间的距离大于等于距离阈值时，则该堆叠组合的比对结果为该堆叠组合不可以堆叠，其中，距离阈值可以根据现场实际的料笼形状进行修改，一般可以设置为1cm。
步骤608，基于各个堆叠组合的比对结果确定第一堆叠结果。
具体地，计算机设备根据基于各个堆叠组合的比对结果确定第一堆叠结果，其中，第一堆叠结果包括各个堆叠组合的比对结果。
在其中一个实施例中，计算机设备可直接将各个堆叠组合的比对结果，作为第一堆叠结果，也就是说第一堆叠结果中包括有每个堆叠组合是否能够实现堆叠的结果。
在另一个实施例中，计算机设备可基于各个堆叠组合的比对结果，来确定第一堆叠结果，比如，当所有堆叠组合的比对结果中，所有的对比结果都表征可以堆叠时，则第一堆叠结果为可以堆叠；当至少有一个对比结果标准为不可以堆叠时，则第一堆叠结果为不可以堆叠。
在本实施例中，首先确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息；然后基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；再将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；最后基于各个堆叠组合的比对结果确定第一堆叠结果，从而有助于后续结合第二堆叠结果确定最终的料笼堆叠结果，进而提高料笼堆叠的效率。
在一个实施例中，如图7所示，该通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果之前，还包括：
步骤702，获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像。
具体地，根据仓储无人叉车的摄像设备，计算机设备获取多个料笼图像样本，该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像。
步骤704，通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
具体地，计算机设备通过多个料笼图像样本、以及该料笼图像样本对应的是否处于可堆叠的标签，训练基于Yolov5的第二检测模型，获得训练好的第二检测模型，该第二检测模型能够根据料笼图像样本直接获得料笼堆叠的结果。
在本实施例中，首先获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；最后通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。因此，在实际场景中，将获取的料笼图像输入训练好的第二检测模型能够直接获得第二堆叠结果，从而有助于后续结合第一堆叠结果确定最终的料笼堆叠结果，进而提高料笼堆叠的效率。
在一个实施例中，如图8所示，该基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果，包括：
步骤802，通过堆叠确认模型，将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据。
其中，堆叠确认模型为训练好的分类器，根据训练好的分类器能够获得第一堆叠结果的权重和第二堆叠结果的权重，并且确定堆叠阈值。
具体地，计算机设备将第一堆叠结果与第二堆叠结果输入至堆叠确认模型中，根据堆叠确认模型中第一堆叠结果权重与第二堆叠结果的权重，将第一堆叠结果和第二堆叠结果进行加权求和获取堆叠数据。
在其中一个实施例中，该堆叠确认模型为训练好的分类器，计算机设备将第一堆叠结果中的各个堆叠组合的比对结果输入至分类器，并且将第二堆叠结果中的各个堆叠结果的比对结果输入至分类器，基于分类器中对于两种堆叠结果的权重分布，将第一堆叠结果乘以与第一堆叠结果对应的权重获得第一堆叠数据、以及第二堆叠结果乘以与堆叠结果对应的权重获得第二堆叠数据，最后将第一堆叠数据与第二堆叠数据相加获得堆叠数据。
步骤804，将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
具体地，计算机设备根据该堆叠确认模型，将堆叠数据与堆叠阈值进行比对，根据比对结果获取最终堆叠结果，其中，当各个堆叠结果的状态均为可以堆叠时，该最终堆叠结果为确认可以堆叠。当最终堆叠结果为可以堆叠时，基于JsonRPC(基于Json的跨语言远程调用传送协议)通信，感知程序向仓储无人叉车主程序输出最终的两个料笼的堆叠状态。仓储无人叉车接收最终堆叠结果，当最终堆叠结果为可以堆叠时，触发将第一料笼堆叠至第二料笼之上的操作，直接将第一料笼放置在第二料笼上，当最终堆叠结果为不可以堆叠时，触发阻止将第一料笼堆叠至第二料笼之上的操作，仓储无人叉车将报错，停止当前动作。
在本实施例中，首先基于堆叠确认模型，可以将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据；再将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。因此，基于堆叠确认模型，可以将两种堆叠结果进行中和，从而能够快速且准确的判断两个料笼是否堆叠，进而提高料笼堆叠的效率。
应该理解的是，虽然图2、5-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种料笼堆叠的确认装置，该装置900包括：获得模块902、第一处理模块904、第一确定模块906、第二处理模块908和第二确定模块910，其中：
获得模块902，用于在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像。
第一处理模块904，用于通过第一检测模型对所述料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置。
第一确定模块906，用于基于该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，确定第一堆叠结果。
第二处理模块908，用于通过第二检测模型对所述料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果。
第二确定模块910，用于基于该第一堆叠结果与所述第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
在一个实施例中，该获得模块902，用于在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，该第一方位与该第二方位为互不相同的两个方位。
在一个实施例中，该获得模块902，用于在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
在一个实施例中，该第一处理模块904，用于通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置。
在一个实施例中，该第一确定模块906，用于确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息；基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，该堆叠组合中第一脚杯和第二墩位于同一个竖直方位；将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；基于各个堆叠组合的比对结果确定第一堆叠结果。
在一个实施例中，如图10所示，该装置900还包括训练模块912，用于获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
在一个实施例中，该第二确定模块，用于通过堆叠确认模型，将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据；将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
关于料笼堆叠的确认装置的具体限定可以参见上文中对于料笼堆叠的确认方法的限定，在此不再赘述。上述料笼堆叠的确认装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储料笼堆叠的确认数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种料笼堆叠的确认方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置；确定该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果；通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，该第一方位与该第二方位为互不相同的两个方位。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息；基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，该堆叠组合中第一脚杯和第二墩位于同一个竖直方位；将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；基于各个堆叠组合的比对结果确定第一堆叠结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过堆叠确认模型，将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据；将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；通过第一检测模型对该料笼图像进行第一目标检测，从该料笼图像中识别出与该第一料笼对应的第一堆叠装置、以及与该第二料笼对应的第二堆叠装置；确定该第一堆叠装置的第一位置信息和该第二堆叠装置的第二位置信息，并基于该第一位置信息和该第二位置信息确定第一堆叠结果；通过第二检测模型对该料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；基于该第一堆叠结果与该第二堆叠结果，确定最终堆叠结果；该最终堆叠结果包括触发将该第一料笼堆叠至该第二料笼之上的结果，以及触发阻止将该第一料笼堆叠至该第二料笼之上的结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对该第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对该第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，该第一方位与该第二方位为互不相同的两个方位。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过第一检测模型获取该料笼图像的特征信息，并根据该特征信息识别出与该第一料笼对应的第一堆叠装置，以及与该第二料笼对应的第二堆叠装置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定该第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定该第二堆叠装置中第二墩所对应的第二位置信息；基于该第一位置信息和该第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，该堆叠组合中第一脚杯和第二墩位于同一个竖直方位；将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；基于各个堆叠组合的比对结果确定第一堆叠结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获得料笼图像样本；该料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；通过该料笼图像样本、以及该料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过堆叠确认模型，将该第一堆叠结果与该第二堆叠结果进行加权求和获取堆叠数据；将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种料笼堆叠的确认方法，其特征在于，所述方法包括：
在将第一料笼堆叠于第二料笼上之前，对所述第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；
通过第一检测模型对所述料笼图像进行第一目标检测，从所述料笼图像中识别出与所述第一料笼对应的第一堆叠装置、以及与所述第二料笼对应的第二堆叠装置；
确定所述第一堆叠装置的第一位置信息和所述第二堆叠装置的第二位置信息，并基于所述第一位置信息和所述第二位置信息确定第一堆叠结果；
通过第二检测模型对所述料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；
基于所述第一堆叠结果与所述第二堆叠结果，确定最终堆叠结果；所述最终堆叠结果包括触发将所述第一料笼堆叠至所述第二料笼之上的结果，以及触发阻止将所述第一料笼堆叠至所述第二料笼之上的结果。
2.根据权利要求1所述的方法，其特征在于，所述料笼图像包括第一料笼图像和第二料笼图像；所述在将第一料笼堆叠于第二料笼上之前，对所述第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像，包括：
在将第一料笼堆叠于第二料笼上之前，对所述第一料笼和第二料笼中处于第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对所述第一料笼和第二料笼中处于第二方位的堆叠装置进行拍摄，获得第二料笼图像；其中，所述第一方位与所述第二方位为互不相同的两个方位。
3.根据权利要求2所述的方法，其特征在于，所述堆叠装置包括脚杯、以及与所述脚杯配套的墩，所述在将第一料笼堆叠与第二料笼上之前，对所述第一料笼和第二料笼中第一方位的堆叠装置进行拍摄，获得第一料笼图像，以及对所述第一料笼和第二料笼中第二方位的堆叠装置进行拍摄，获得第二料笼图像，包括：
在将第一料笼堆叠于第二料笼上之前，对第一料笼在第一方位上的脚杯，以及对第二料笼在第一方位上的墩进行拍摄，获得第一料笼图像；
对第一料笼在第二方位上的脚杯，以及对第二料笼在第二方位上的墩进行拍摄，获得第二料笼图像。
4.根据权利要求1所述的方法，其特征在于，所述通过第一检测模型对所述料笼图像进行第一目标检测，从所述料笼图像中识别出与所述第一料笼对应的第一堆叠装置、以及与所述第二料笼对应的第二堆叠装置，包括：
通过第一检测模型获取所述料笼图像的特征信息，并根据所述特征信息识别出与所述第一料笼对应的第一堆叠装置，以及与所述第二料笼对应的第二堆叠装置。
5.根据权利要求1所述的方法，其特征在于，所述第一料笼的第一面上设置有第一脚杯，第二面上设置有第一墩；所述第二料笼的第一面上设置有第二脚杯，第二面上设置有第二墩；所述确定基于所述第一堆叠装置的第一位置信息和所述第二堆叠装置的第二位置信息，并基于所述第一位置信息和所述第二位置信息确定第一堆叠结果，包括：
确定所述第一堆叠装置中第一脚杯所对应的第一位置信息，以及确定所述第二堆叠装置中第二墩所对应的第二位置信息；
基于所述第一位置信息和所述第二位置信息，得到各个堆叠组合中第一脚杯和第二墩之间的距离；其中，所述堆叠组合中第一脚杯和第二墩位于同一个竖直方位；
将每个堆叠组合中第一脚杯和第二墩之间的距离分别与距离阈值进行比对，获取各个堆叠组合的比对结果；
基于各个堆叠组合的比对结果确定第一堆叠结果。
6.根据权利要求1所述的方法，其特征在于，所述通过第二检测模型对所述料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果之前，还包括：
获得料笼图像样本；所述料笼图像样本包括有处于可堆叠状态的两个料笼所对应的第一料笼样本图像、以及处于不可堆叠状态的两个料笼所对应的第二料笼样本图像；
通过所述料笼图像样本、以及所述料笼图像所对应的是否处于可堆叠状态的标签，训练第二检测模型，得到训练好的第二检测模型。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一堆叠结果与所述第二堆叠结果，确定最终堆叠结果，包括：
通过堆叠确认模型，将所述第一堆叠结果与所述第二堆叠结果进行加权求和获取堆叠数据；
将堆叠数据与堆叠阈值进行比对，基于比对结果获取最终堆叠结果。
8.一种料笼堆叠的确认装置，其特征在于，所述装置包括：
获得模块，用于在将第一料笼堆叠于第二料笼上之前，对所述第一料笼和第二料笼各自的堆叠装置进行图像采集，得到对应的料笼图像；
第一处理模块，用于通过第一检测模型对所述料笼图像进行第一目标检测，从所述料笼图像中识别出与所述第一料笼对应的第一堆叠装置、以及与所述第二料笼对应的第二堆叠装置；
第一确定模块，用于基于所述第一堆叠装置的第一位置信息和所述第二堆叠装置的第二位置信息，确定第一堆叠结果；
第二处理模块，用于通过第二检测模型对所述料笼图像进行第二目标检测，并基于第二目标检测所提取的图像特征，直接输出第二堆叠结果；
第二确定模块，用于基于所述第一堆叠结果与所述第二堆叠结果，确定最终堆叠结果；所述最终堆叠结果包括触发将所述第一料笼堆叠至所述第二料笼之上的结果，以及触发阻止将所述第一料笼堆叠至所述第二料笼之上的结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110648779.8A 2021-06-10 2021-06-10 料笼堆叠的确认方法、装置、计算机设备和存储介质 Pending CN115471730A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110648779.8A CN115471730A (zh) 2021-06-10 2021-06-10 料笼堆叠的确认方法、装置、计算机设备和存储介质
US17/832,951 US20220396431A1 (en) 2021-06-10 2022-06-06 Method for determining material-cage stacking, computer device, and storage medium
KR1020220068720A KR20220166732A (ko) 2021-06-10 2022-06-07 파렛트 적층 확인 방법, 컴퓨터 디바이스 및 저장 매체
JP2022091950A JP7366195B2 (ja) 2021-06-10 2022-06-07 ケージ積上げの確認方法、コンピュータ装置及び記憶媒体
EP22177559.6A EP4101795A1 (en) 2021-06-10 2022-06-07 Method for determining material-cage stacking and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110648779.8A CN115471730A (zh) 2021-06-10 2021-06-10 料笼堆叠的确认方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115471730A true CN115471730A (zh) 2022-12-13

Family

ID=81975400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110648779.8A Pending CN115471730A (zh) 2021-06-10 2021-06-10 料笼堆叠的确认方法、装置、计算机设备和存储介质

Country Status (5)

Country Link
US (1) US20220396431A1 (zh)
EP (1) EP4101795A1 (zh)
JP (1) JP7366195B2 (zh)
KR (1) KR20220166732A (zh)
CN (1) CN115471730A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188767B (zh) * 2023-01-13 2023-09-08 湖北普罗格科技股份有限公司 一种基于神经网络的堆叠木板计数方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6267175B2 (ja) * 2015-11-20 2018-01-24 ファナック株式会社 物品を積む位置を設定する積み付けパターン計算装置
JP6455681B2 (ja) * 2016-01-12 2019-01-23 株式会社ダイフク 段積みコンテナの異常検出装置
US11046519B2 (en) * 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
CN110606305A (zh) * 2019-07-31 2019-12-24 深圳市海柔创新科技有限公司 一种智能分拣系统、方法、仓储机器人及处理终端
CN111553951B (zh) * 2020-04-30 2023-10-24 山东新北洋信息技术股份有限公司 包裹处理设备和包裹处理方法
CN112327320A (zh) * 2020-10-19 2021-02-05 未来机器人（深圳）有限公司 料笼插孔位姿检测方法及料笼搬运堆叠方法
CN112660686B (zh) * 2021-03-17 2021-06-01 杭州蓝芯科技有限公司 基于深度相机的料笼堆叠方法及装置、电子设备、系统
CN114920034B (zh) * 2022-06-21 2023-11-14 安徽省矿业机电装备有限责任公司 一种车载式货物装车装置

Also Published As

Publication number Publication date
KR20220166732A (ko) 2022-12-19
US20220396431A1 (en) 2022-12-15
JP7366195B2 (ja) 2023-10-20
JP2022189761A (ja) 2022-12-22
EP4101795A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
CN110399799B (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN111582207B (zh) 图像处理方法、装置、电子设备及存储介质
CN112288770A (zh) 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN111246098B (zh) 机器人拍照方法、装置、计算机设备和存储介质
CN111512317A (zh) 一种多目标实时跟踪方法、装置及电子设备
CN112036400B (zh) 构建用于目标检测的网络的方法和目标检测方法及系统
CN111784746A (zh) 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统
CN112581540A (zh) 一种大场景下基于人体姿态估计的相机标定方法
EP4168996A1 (en) Systems and methods for fine adjustment of roof models
CN115471730A (zh) 料笼堆叠的确认方法、装置、计算机设备和存储介质
CN112150467A (zh) 一种货物数量确定方法、系统和装置
CN111291716B (zh) 精子细胞识别方法、装置、计算机设备和存储介质
CN110738229B (zh) 一种细粒度图像分类方法、装置及电子设备
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN112446402A (zh) 装载率识别方法、装置、计算机设备和存储介质
US20220051436A1 (en) Learning template representation libraries
García et al. Hybrid fusion scheme for pedestrian detection based on laser scanner and far infrared camera
CN115345903A (zh) 目标跟踪方法、装置、电子设备及存储介质
Braun et al. Quantification of uncertainties in deep learning-based environment perception
CN111401258A (zh) 基于人工智能的活体检测方法、以及装置
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN110942179A (zh) 一种自动驾驶路线规划方法、装置及车辆
CN113496563B (zh) 一种智慧闸口的管理方法、装置及设备
CN112149507B (zh) 基于图像的无人机自主地面污染物推理与定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination