CN116902449A - 用于智能立体库房的工业物联网、控制方法及其存储介质 - Google Patents

用于智能立体库房的工业物联网、控制方法及其存储介质 Download PDF

Info

Publication number
CN116902449A
CN116902449A CN202310837881.1A CN202310837881A CN116902449A CN 116902449 A CN116902449 A CN 116902449A CN 202310837881 A CN202310837881 A CN 202310837881A CN 116902449 A CN116902449 A CN 116902449A
Authority
CN
China
Prior art keywords
platform
instruction
goods
sub
platforms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310837881.1A
Other languages
English (en)
Inventor
邵泽华
权亚强
吴岳飞
李勇
刘彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Qinchuan IoT Technology Co Ltd
Original Assignee
Chengdu Qinchuan IoT Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Qinchuan IoT Technology Co Ltd filed Critical Chengdu Qinchuan IoT Technology Co Ltd
Publication of CN116902449A publication Critical patent/CN116902449A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0407—Storage devices mechanical using stacker cranes
    • B65G1/0421—Storage devices mechanical using stacker cranes with control for stacker crane operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G57/00—Stacking of articles
    • B65G57/02—Stacking of articles by adding to the top of the stack
    • B65G57/03—Stacking of articles by adding to the top of the stack from above
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/60—Positioning; Navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Toxicology (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本说明书实施例提供一种用于智能立体库房的工业物联网，包括用户平台、服务平台和管理平台，其中，管理平台被配置为执行以下操作：用户平台向服务平台发出第一指令，服务平台基于第一指令确定第二指令，并发送至管理平台；响应于接收到来自服务平台的第二指令，确定自动堆垛机的运动力是否满足执行条件，第一指令包括货物调取指令；响应于自动堆垛机的运动力满足执行条件，控制自动堆垛机执行取放操作；响应于自动堆垛机完成取放操作，确定目标待命位置，以及控制自动堆垛机前往目标待命位置。

Description

用于智能立体库房的工业物联网、控制方法及其存储介质
技术领域
本说明书涉及智能制造技术领域，特别涉及用于智能立体库房的工业物联网、控制方法及其存储介质。
背景技术
立体库房也称为高架库或高架仓库，一般是指采用几层、十几层乃至几十层高的货架储存单元货物，用相应的物料搬运设备进行货物入库和出库作业的仓库，其中的智能立体库房也称自动化立体仓库，其是机械、电气与信息技术相结合的全智能化仓库，主要包括货物存储系统、货物存取和传送系统、控制和管理等系统组成，可实现无人值守的全自动化作业。
在智能立体库房中，作为物料存取系统的主要机械设备，堆垛机是必不可少的。堆垛机又称堆垛起重机，是指采用货叉或串杆作为取物装置，在仓库、车间等处攫取、搬运和堆垛或从高层货架上取放单元货物的专用起重机，其在具有使用中，主要作用是在立体仓库的通道内来回运行，将位于巷道口的货物存入货架的货格，或者取出货格内的货物运送到巷道口或指定地点。
在智能制造技术领域，智能立体库房都是通过自动堆垛机实现无人作业，自动堆垛机需要按照规定取放货物，比如，不同车间、不同类型或不同用途的货物放置在不同的区域，或者不同进货通道、不同出货通道的货物按照特定编号分区放置，且部分厂区的立体库房面积大、层数多，每个区域还需要配置多个堆垛机来进行货物取放，而自动堆垛机的数量较多，瞬时数据也是异常庞大，而如此多的数量和数据在运用自动化系统管理和控制时，还需要较大的数据存储和处理系统，并且数据处理还得准时高效，这都导致现有的系统结构体系复杂，成本高，并且数据在交互时容易出错，导致自动堆垛机出现取放货物错误、取放位置错误等问题，这些都不利于智能立体库房的自动化建设和安全稳定的运行。
发明内容
本说明书实施例之一提供一种用于智能立体库房的工业物联网，包括用户平台、服务平台和管理平台，管理平台被配置为执行以下操作：用户平台向服务平台发出第一指令，服务平台基于所述第一指令确定第二指令，并发送至所述管理平台；响应于接收到来自所述服务平台的所述第二指令，确定自动堆垛机的运动力是否满足执行条件，所述第一指令包括货物调取指令；响应于所述自动堆垛机的运动力满足所述执行条件，控制所述自动堆垛机执行取放操作；响应于所述自动堆垛机完成所述取放操作，确定目标待命位置，以及控制所述自动堆垛机前往所述目标待命位置。
本说明书实施例之一提供一种用于智能立体库房的工业物联网的控制方法，其特征在于，所述工业物联网包括由上至下依次交互的用户平台、服务平台、管理平台、传感网络平台和对象平台；所述服务平台采用独立式布置，所述管理平台和所述传感网络平台均采用前分平台式布置；所述独立式布置是指所述服务平台设置多个独立的分平台，所述多个独立的分平台分别对不同下层平台的数据进行数据存储、数据处理和/或数据传输；所述前分平台式布置是指对应平台设置有一个总平台和多个分平台，所述多个分平台分别存储和处理下层平台发送的不同类型或不同接收对象的数据，所述一个总平台对所述多个分平台的数据进行汇总后存储和处理，并传输数据至上层平台；所述对象平台被配置为智能立体库房中不同货架区域的自动堆垛机；所述控制方法包括：所述服务平台的分平台对应不同的用户平台，所述第一指令由所述用户平台发出，所述用户平台对应的服务平台的分平台接收所述第一指令并将所述第一指令转换成所述管理平台可识别的第二指令并下发所述第二指令至管理平台的总平台；所述第二指令至少包括指令编号、货架区域、货物取放数量及货物取放位置；所述管理平台的总平台接收所述第二指令，提取所述第二指令中的货架区域信息，基于所述货架区域信息将第二指令发送至对应货架区域的管理平台的分平台；所述管理平台的分平台接收所述第二指令后，将所述第二指令中的所述指令编号、所述货物取放数量及所述货物取放位置提取并转换成自动堆垛机可识别的第三指令，并将货架区域信息和所述第三指令一并发送至传感网络平台的总平台；所述传感网络平台的总平台接收所述货架区域信息和所述第三指令后，基于所述货架区域信息，将所述第三指令发送至对应货架区域的传感网络平台的分平台；所述传感网络平台的分平台接收所述第三指令，将其发送至其对应的一个或多个自动堆垛机，所述一个或多个自动堆垛机基于所述第三指令执行货物取放，并反馈货物取放结果数据。
本说明书实施例之一提供一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取所述存储介质中的所述计算机指令后，计算机执行上述任一项所述的方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的用于智能立体库房的工业物联网的示例性流程图；
图2是根据本说明书一些实施例所示的用于智能立体库房的工业物联网的示例性结构框架图；
图3是根据本说明书一些实施例所示的用于智能立体库房的工业物联网的控制方法的示例性流程图；
图4是根据本说明书一些实施例所示的基于强化学习模型确定目标待命位置的示例性示意图；
图5是根据本说明书一些实施例所示的基于第一命中度确定移动奖励值的示例性流程图；
图6是根据本说明书一些实施例所示的基于占比符合度确定移动奖励值的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
用于智能立体库房的工业物联网的应用场景可以包括处理设备、网络、存储设备以及自动堆垛机。处理设备可以处理与用于智能立体库房的工业物联网的应用场景有关的信息和/或数据，其中，管理平台可以在处理设备中实现。网络可以实现应用场景中各组件的通信。存储设备可以存储数据、指令和/或任何其他信息。自动堆垛机可以接收管理平台发出的指令，并基于指令执行货物取放任务，对智能立体库房中的货物进行取货、放货等操作。
图1是根据本说明书一些实施例所示的用于智能立体库房的工业物联网的示例性流程图。在一些实施例中，流程100可以由管理平台执行。如图1所示，流程100包括
下述步骤：
步骤110，用户平台向服务平台发出第一指令，服务平台基于第一指令确定第二指令，并发送至管理平台，响应于接收到来自服务平台的第二指令，确定自动堆垛机的运动力是否满足执行条件。
第一指令指用于控制自动堆垛机执行任务的指令。例如，第一指令可以为货物调取指令。货物调取指令可以是用于指示自动堆垛机执行货物调取任务的指令。第一指令的指令内容可以包括要求自动堆垛机前往的货架区域、货物取放位置以及货物取放数量。第一指令的指令内容还可以包括指示自动堆垛机如何移动的移动路径信息。在一些实施例中，第一指令可以由用户平台发出，并由服务平台接收。关于用户平台、服务平台的更多内容可以参见图2及其相关描述。
在一些实施例中，第一指令可以包括入库指令以及出库指令。
入库指令可以是要求自动堆垛机前往取货台取货并将其放入货架的指令。出库指令可以是要求自动堆垛机前往货架取货并将其放入取货台的指令。
第二指令指基于第一指令转换的管理平台可以识别的指令。第二指令具有与第一指令相同的内容，例如，第二指令的指令内容可以包括要求自动堆垛机前往的货架区域、货物取放位置、货物取放数量以及指示自动堆垛机如何移动的移动路径信息。在一些实施例中，第二指令可以基于服务平台对第一指令进行转换得到。关于基于服务平台对第一指令进行转换的更多内容可以参见图2及其相关描述。
货架区域可以是立体仓库中一个或多个货架构成的区域。立体仓库中的自动堆垛机可以对应至少一个货架区域。管理平台可以基于第二指令中的货架区域，将该第二指令发送至对应货架区域的自动堆垛机。
货物取放位置可以包括取货位置和放货位置。货物取放位置可以用各种方式表示，例如，货物取放位置可以用两个三维坐标分别表示取货位置和放货位置。示例性的，取货位置为三维坐标为(x，y，z)，则表示取货位置位于第z个货架的第x行，第y列，其中，x，y，z均为大于0的整数。在一些实施例中，当需要表示取货台时，可以用包含0的三维坐标来表示。例如，1号取货台可以表示为(0，0，1)。
自动堆垛机的运动力可以用于描述自动堆垛机的运动能力。例如，自动堆垛机的运动力可以是当前状态下该自动堆垛机可以行进的最大距离。自动堆垛机的运动力可以基于当前剩余电量/油量确定。
在一些实施例中，管理平台可以通过自动堆垛机的当前位置，以及第二指令中的货架区域、货物取放位置以及货物取放数量，确定该指令所需的运动力，并判断自动堆垛机的运动力是否满足执行条件，若自动堆垛机的运动力大于该指令所需的运动力，则满足执行条件。
步骤120，响应于自动堆垛机的运动力满足执行条件，控制自动堆垛机执行取放操作。
在一些实施例中，响应于自动堆垛机的运动力满足执行条件，管理平台可以将第二指令发送至自动堆垛机，控制自动堆垛机执行取放操作。
在一些实施例中，响应于自动堆垛机的运动力满足执行条件，管理平台可以将第二指令中的指令编号、货物取放数量及货物取放位置提取并转换成自动堆垛机可识别的第三指令，并将货架区域信息和第三指令一并发送至传感网络平台的总平台；传感网络平台的总平台接收货架区域信息和第三指令后，基于货架区域信息，将第三指令发送至对应货架区域的传感网络平台的分平台；传感网络平台的分平台接收第三指令，将其发送至其对应的一个或多个自动堆垛机，控制自动堆垛机执行取放操作。关于第三指令、传感网络平台的更多内容可以参见图2及其相关描述。
步骤130，响应于自动堆垛机完成取放操作，确定目标待命位置，以及控制自动堆垛机前往目标待命位置。
目标待命位置可以指自动堆垛机处于空闲期时需要前往的位置。目标待命位置可以用三维向量为(x，y，z)表示，其含义为，自动堆垛机需要前往可以直接对第z个货架的第x行第y列的货物进行取放的位置。
空闲期指自动堆垛机完成指令，在下一个指令到来之前所对应的时间段。当管理平台向自动堆垛机发送新的指令后，自动堆垛机结束本次空闲期并开始执行该指令。
在一些实施例中，空闲期可以基于指令执行情况确定。指令执行情况可以包括自动堆垛机执行指令的开始时刻与结束时刻。例如，自动堆垛机在历史一段时间的指令执行情况为：8:00开始执行指令A、8:05完成指令A、8:15开始执行指令B、8:17完成指令B、8:35开始执行指令C、8:40完成指令C…则：时间段8:05-8:15为一个空闲期，该空闲期的起始时刻为8:05，结束时刻为8:15；时间段8:17-8:35为一个空闲期，该空闲期的起始时刻为8:17，结束时刻为8:35。
在一些实施例中，目标待命位置可以基于预设规则确定。例如，预设规则可以是管理平台为每一个自动堆垛机分配一个对应的目标待命位置，当自动堆垛机处于空闲期时，管理平台可以控制自动堆垛机前往其对应的目标待命位置。又例如，预设规则可以是当自动堆垛机处于空闲期时，原地保持静止。
在一些实施例中，目标待命位置可以基于强化学习模型确定。关于强化学习模型以及基于强化学习模型确定目标待命位置的更多内容可以参见图4及其相关描述。
在本说明书一些实施例中，通过管理平台统一接收用户平台的货物调取指令并分配至相应货架区域的自动堆垛机，可以更好的管理和控制货物的取放，同时在分配货物调取指令时考虑了自动堆垛机的运动力，以避免自动堆垛机在执行货物取放的过程中耗尽能源导致现场业务发生阻塞，可以使智能立体仓库更加高效、快捷地运行。
如图2所示，本说明书第一个实施例旨在提供一种用于智能立体库房的工业物联网，所述用于智能立体库房的工业物联网包括由上至下依次交互的用户平台、服务平台、管理平台、传感网络平台和对象平台；所述服务平台采用独立式布置，所述管理平台和传感网络平台均采用前分平台式布置；所述独立式布置是指服务平台设置多个独立的分平台，多个分平台分别对不同下层平台的数据进行数据存储、数据处理和/或数据传输；所述前分平台式布置是指对应平台设置有一个总平台和多个分平台，多个分平台分别存储和处理下层平台发送的不同类型或不同接收对象的数据，一个总平台对多个分平台的数据进行汇总后存储和处理，并传输数据至上层平台；所述对象平台被配置为智能立体库房中不同货架区域的自动堆垛机；
所述服务平台的分平台对应不同的用户平台，所述第一指令由所述用户平台发出，所述用户平台对应的服务平台的分平台接收第一指令并将第一指令转换成管理平台可识别的第二指令并下发第二指令至管理平台的总平台；所述第二指令至少包括指令编号、货架区域、货物取放数量及货物取放位置；管理平台的总平台接收第二指令，提取第二指令中的货架区域信息，基于货架区域信息将第二指令发送至对应货架区域的管理平台的分平台；管理平台的分平台接收第二指令后，将第二指令中的指令编号、货物取放数量及货物取放位置提取并转换成自动堆垛机可识别的第三指令，并将货架区域信息和第三指令一并发送至传感网络平台的总平台；传感网络平台的总平台接收货架区域信息和第三指令后，基于货架区域信息，将第三指令发送至对应货架区域的传感网络平台的分平台；
传感网络平台的分平台接收第三指令，将其发送至其对应的一个或多个自动堆垛机，一个或多个自动堆垛机基于第三指令执行货物取放，并反馈货物取放结果数据。
立体库房内的货物都是要按照预先设置或者按照不同规则进行分类或分区放置，货物取放时需要按照特定要求对应获取，以免货物取放错位，影响后续货物的存取，现有技术中，由于立体库房占地面积大、层数高，存货量较大，进而对应的自动堆垛机一般会设置多个，自动堆垛机数量较多，瞬时数据也是异常庞大，而如此多的数量和数据在运用自动化系统管理和控制时，还需要较大的数据存储和处理系统，并且数据处理还得准时高效且有序，这都导致现有的系统结构体系复杂，成本高，并且数据在交互时容易出错，导致自动堆垛机出现取放货物错误、取放位置错误、多个堆垛机相互影响等问题，这些都不利于智能立体库房的自动化建设和安全稳定的运行。
而本说明书的用于智能立体库房的工业物联网，基于五平台结构搭建物联网，其中服务平台采用独立式布置，且每个服务平台的分平台均对应不同的用户平台，从而每个用户平台均有独立的服务平台对应执行数据交互，便于数据管理，解决多用户使用时单个服务平台数据交互压力大的问题，且数据也能更准确高效的与用户平台交互，其次，管理平台和传感网络平台均采用前分平台式布置，二者利用一个总平台对所有数据进行货架区域识别并基于货架区域对不同的数据进行分类分发，从而可以将所有数据进行分区分类，且将数据与对应的分平台和上层平台对应，能确保所有数据均能按照区域信息进行独立处理和传输，同时二者均设置有多个分平台，每个分平台均独立工作且对应唯一货架区域的数据处理和传输，实现对应数据的转换和识别，并实现其与上下平台的独立数据交互，使得数据在整个处理过程中的路径均是唯一有效的，通过总平台和分平台的各司其职，进而二者的数据处理需求量大为降低，其搭建成本也有所降低，并进一步提高了各个平台数据处理速度和能力。
本说明书的用于智能立体库房的工业物联网在使用时，不同的用户平台均对应有独立唯一的服务平台的分平台，每个用户平台可对应不同的车间、输送系统、厂房等，从而通过此设计还可以清晰获取货物需求方的信息，便于后期货物统计或溯源等，而管理平台通过前分平台式设置，通过一个管理平台的总平台统一对所有服务平台的分平台的数据进行数据处理，将不同服务平台的分平台的数据通过货架区域来进行分类和分区，再通过多个管理平台的分平台形成独立的物理结构，分别独立的对应其货架区域信据独立处理的系统结构，确保了各个区域数据互不影响和冲突，提高了数据处理准确率，且提高了数据处理速度，降低了各个分平台的数据处理压力和搭建成本，同理，传感网络平台同样采用前分平台式布置，使得每个货架区域的一个或多个自动堆垛机均对应一个独立的传感网络平台的分平台，利用传感网络平台的总平台将相应数据与对应传感网络平台的分平台进行独立传输，确保每个货架区域的自动堆垛机相对独立运行，且互不影响，从而可以实现多个货架区域内多个自动堆垛机的自动控制，提高了立体库房取放货物的效率和准确性，能有效解决多个自动堆垛机重复执行同一指令、错取放的问题。
需要说明的是，本实施例中的用户平台可以是台式电脑、平板电脑、笔记本电脑、手机或者其他能够实现数据处理以及数据通信的电子设备，在此不作过多限定。在具体应用中，第一服务器和第二服务器可以采用单一服务器，也可以采用服务器集群，在此不作过多限定。应当理解的是，在本实施例中所提到的数据处理过程可以通过服务器的处理器进行处理，而存储在服务器的数据，都可以存储在服务器的存储设备上，如硬盘等存储器。在具体应用中，传感网络平台可以采用多组网关服务器，或者多组智能路由器，在此不作过多限定。应当理解的是，在本说明书实施例中所提到的数据处理过程可以通过网关服务器的处理器进行处理，而存储在网关服务器的数据，都可以存储在网关服务器的存储设备上，如硬盘和SSD等存储器。
在实际应用中，可对应的服务平台的分平台接收第一指令并将第一指令转换成管理平台可识别的第二指令并下发第二指令至管理平台的总平台，具体为：当服务平台的分平台接收第一指令时，服务平台的分平台至少提取第一指令中的指令编号、货架区域、货物取放数量及货物取放位置；将指令编号、货架区域、货物取放数量及货物取放位置依次编译为对应的数据代码，最后将所有代码按照编译规则形成数据代码集；将数据代码集转换成管理平台可识别的第二指令并下发第二指令至管理平台的总平台。
在实际应用中，管理平台的总平台接收第二指令，提取第二指令中的货架区域信息，基于货架区域信息将第二指令发送至对应货架区域的管理平台的分平台，具体为：管理平台的总平台预存有货架区域信息关联表，所述货架区域信息关联表中至少包括货架区域及其对应的管理平台的分平台；当管理平台的总平台接收第二指令后，提取第二指令中的货架区域信息，并基于货架区域信息关联表找出货架区域对应的管理平台的分平台作为目标平台；管理平台的总平台将第二指令发送至对应的目标平台。
在实际应用中，传感网络平台的总平台接收货架区域信息和第三指令后，基于货架区域信息，将第三指令发送至对应货架区域的传感网络平台的分平台，具体为：传感网络平台的总平台接收货架区域信息和第三指令后，先提取货架区域信息，基于货架区域信息找出货架区域对应的传感网络平台的分平台；传感网络平台的总平台将第三指令发送至对应货架区域的传感网络平台的分平台。
在实际应用中，当传感网络平台的总平台提取的货架区域信息存在多个时，所述传感网络平台的总平台将多个货架区域对应的传感网络平台的分平台依次找出，并将第三指令同时发送至找出的所有的传感网络平台的分平台。
在实际应用中，当所述第三指令还包括执行时刻数据时，所述一个或多个自动堆垛机在接收第三指令后，读取执行时刻数据，并在执行时刻执行第三指令。
在实际应用中，上述用于智能立体库房的工业物联网还包括：所述一个或多个自动堆垛机反馈货物取放结果数据后，所述货物取放结果数据通过传感网络平台和管理平台发送至所有的服务平台的分平台；所有所述服务平台的分平台均存储有货物数据表，货物数据表对应所有取货区域的所有货物数量及存放位置；当服务平台的分平台获取货物取放结果数据后，读取货物取放结果数据，基于货物取放数据内获取取放数量和位置，更新货物数据表；当用户平台下达第一指令前，对应的服务平台的分平台发送货物数据表至用户平台，用户平台基于货物数据表即可查阅货物数据及下达第一指令。
如图3所示，本说明书第二个实施例提供了一种用于智能立体库房的工业物联网的控制方法，所述用于智能立体库房的工业物联网包括由上至下依次交互的用户平台、服务平台、管理平台、传感网络平台和对象平台；
所述服务平台采用独立式布置，所述管理平台和传感网络平台均采用前分平台式布置；所述独立式布置是指服务平台设置多个独立的分平台，多个分平台分别对不同下层平台的数据进行数据存储、数据处理和/或数据传输；所述前分平台式布置是指对应平台设置有一个总平台和多个分平台，多个分平台分别存储和处理下层平台发送的不同类型或不同接收对象的数据，一个总平台对多个分平台的数据进行汇总后存储和处理，并传输数据至上层平台；所述对象平台被配置为智能立体库房中不同货架区域的自动堆垛机；所述控制方法包括：所述服务平台的分平台对应不同的用户平台，第一指令由所述用户平台发出，所述用户平台对应的服务平台的分平台接收第一指令并将第一指令转换成管理平台可识别的第二指令并下发第二指令至管理平台的总平台；所述第二指令至少包括指令编号、货架区域、货物取放数量及货物取放位置；管理平台的总平台接收第二指令，提取第二指令中的货架区域信息，基于货架区域信息将第二指令发送至对应货架区域的管理平台的分平台；管理平台的分平台接收第二指令后，将第二指令中的指令编号、货物取放数量及货物取放位置提取并转换成自动堆垛机可识别的第三指令，并将货架区域信息和第三指令一并发送至传感网络平台的总平台；传感网络平台的总平台接收货架区域信息和第三指令后，基于货架区域信息，将第三指令发送至对应货架区域的传感网络平台的分平台；传感网络平台的分平台接收第三指令，将其发送至其对应的一个或多个自动堆垛机，一个或多个自动堆垛机基于第三指令执行货物取放，并反馈货物取放结果数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。
在本说明书所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本说明书的范围。
另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本说明书各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
图4是根据本说明书一些实施例所示的基于强化学习模型确定目标待命位置的示例性示意图。在一些实施例中，流程400可以由管理平台执行。
如图4所示，管理平台可以将环境状态信息410输入强化学习模型420，强化学习模型420根据输入的环境状态信息410输出目标待命位置430。关于目标待命位置的更多内容可以参见图1及其相关描述。
环境状态信息指用于描述自动堆垛机在处于空闲期的过程中涉及的状态的信息。例如，环境状态信息410可以包括自动堆垛机的位置信息、空闲时长以及空闲期内的移动长度。
自动堆垛机的位置信息用于表示自动堆垛机当前所在位置对应的货架、货架行数和列数等信息。自动堆垛机的位置信息可以用各种方式表示，例如，三维向量(x，y，z)，其含义为，自动堆垛机当前位于可以对第z个货架的第x行第y列的货物进行取放的位置。
在一些实施例中，管理平台可以通过自动堆垛机上部署的位置传感器或其他方式获取自动堆垛机的位置信息。
空闲时长指自动堆垛机在空闲期内，从进入该空闲期的时刻起，到当前时刻经过的时间。例如，自动堆垛机在8:00完成取放操作，进入空闲期，在8:00-8:05期间都未接收到新的指令，则在8:05时刻对应的空闲时长为5分钟。
在一些实施例中，管理平台可以通过各种方式确定自动堆垛机的空闲时长，例如，在自动堆垛机内或是管理平台内设置时钟，该时钟可以从自动堆垛机完成指令开始计时，并在自动堆垛机接收到新的指令时清零，该时钟显示的值即为自动堆垛机的空闲时长。
空闲期内的移动长度指自动堆垛机在空闲期内已走过的路径长度。在一些实施例中，空闲期内的移动长度可以包括堆垛机机体在平面(例如，地面)走过的路径长度与堆垛机承货平台在堆垛机机体中上下移动的路径长度。
在一些实施例中，管理平台可以通过实时获取自动堆垛机的位置信息或其他方式，确定空闲期内的移动长度。
强化学习模型420可以用于确定目标待命位置。强化学习模型420的输入为环境状态信息410，输出为目标待命位置430。强化学习模型420包括环境模块421和最优动作确定模块422。
在一些实施例中，基于强化学习模型420确定目标待命位置430时，可以将环境状态信息410输入强化学习模型420。在模型内，将环境状态信息410输入环境模块421，环境模块421输出可选动作集合。在模型内，将环境状态信息410和可选动作集合输入最优动作确定模块422，最优动作确定模块422输出最优可选动作427。将最优动作确定模块422输出的最优可选动作427对应的目标位置确定为目标待命位置430，作为强化学习模型420的输出。例如，最优可选动作为静止，则该最优可选动作对应的目标位置为自动堆垛机当前的位置信息。又例如，最优可选动作为前往(x1，y1，z1)，则该最优可选动作对应的目标位置为(x1，y1，z1)，则目标待命位置为(x1，y1，z1)。
环境模块421可以包括可选动作确定子模块423、状态确定子模块424和奖励确定子模块425。在强化学习模型420的预测过程中，环境模块421可以基于环境状态信息410，通过可选动作子模块423确定可选动作集合。在强化学习模型420的训练过程中，环境模块421中的状态确定子模块424和奖励确定子模块425可以分别用于确定下一时刻的环境状态信息以及奖励值。
可选动作确定子模块423可以基于当前时刻的环境状态信息，确定当前时刻下自动堆垛机的可选动作集合。
可选动作集合指某个环境状态下自动堆垛机可以执行的动作的集合。在一些实施例中，自动堆垛机可以执行的动作可以包括静止和前往目标位置。目标位置指当前情况自动堆垛机可以前往的位置(例如，某个货架某行某列、某个取货台)。不同的环境状态下，自动堆垛机的可前往的目标位置可以不同。
在一些实施例中，环境模块421可以基于当前时刻的环境状态信息中的自动堆垛机的位置信息，将前往与自动堆垛机的当前位置满足预设条件的位置和/或保持静止这两类动作确定为当前时刻自动堆垛机的可选动作集合。在一些实施例中，预设条件可以基于立体库房结构、货架结构等确定。示例性的，设自动堆垛机的当前位置为(1，1，4)，预设条件为：当前位置的货架序号与前往的位置对应的货架序号之差不超过2，则将静止、前往2-6号货架的任意一行任意一列对应的位置确定为当前时刻自动堆垛机的可选动作集合。
状态确定子模块424可以基于当前时刻的环境状态信息和最优动作确定模块输出的最优可选动作，确定下一时刻的环境状态信息。例如，当前时刻的环境状态信息中的自动堆垛机的位置信息为(1，1，1)，最优动作确定模块输出的最优可选动作为前往目标待命位置(2，1，1)，自动堆垛机执行完该最优可选动作后，状态确定子模块424将下一时刻的自动堆垛机的位置信息确定为(2，1，1)，同时基于经过的时间以及走过的路径长度更新环境状态信息中的空闲时长以及空闲期内的移动长度。
奖励确定子模块425可以用于确定奖励值。奖励值可以用于评估自动堆垛机执行的动作后，对下一次执行指令的效率的提升程度。例如，对于提升程度高的动作，奖励值可以越高；对于提升程度低或是负提升，奖励值可以越低。奖励值可以用数值或其他方式表示。下一次执行指令的效率的提升程度可以基于自动堆垛机在空闲期前往的目标位置与未来时刻自动堆垛机接收到的指令对应的取货位置的距离确定，该距离越短，自动堆垛机前往指令对应的取货位置就越快，则下一次执行指令的效率的提升程度越大。在一些实施例中，奖励确定子模块425可以基于设定的公式确定奖励值。
在一些实施例中，自动堆垛机执行静止动作或执行前往目标位置动作时，奖励确定子模块425可以基于不同的方式确定对应动作的奖励值。
在一些实施例中，自动堆垛机执行静止动作的奖励值可以相关于空闲时长和空闲期内的移动长度。例如，空闲时长越大、空闲期内的移动长度越大，自动堆垛机执行静止动作的奖励值越大。
示例性的，自动堆垛机执行静止动作的奖励值可以通过下述公式(1)计算得到：
r＝kltl+k2t2 (1)
其中，r为该动作的奖励值，t1为空闲时长，t2为空闲期内的移动长度；k1和k2分别为空闲时长和空闲期内的移动长度的权重系数，k1和k2可以基于经验确定，例如，k1和k2可以均为0.5。
在一些实施例中，自动堆垛机执行前往目标位置动作的奖励值可以相关于前往目标位置的移动期望值。
移动期望值可以用于描述自动堆垛机前往目标位置所带来的收益。例如，自动堆垛机在空闲期前往的目标位置为(1，1，1)，若未来时刻自动堆垛机接收到的指令对应的取货位置为(1，1，1)，则自动堆垛机可以直接执行指令而无需先进行移动，可以认为本次空闲期执行动作带来了较高收益。
在一些实施例中，移动期望值可以基于奖励确定子模块425中的期望值对照表确定。例如，期望值对照表中可以给出自动堆垛机在不同位置下，前往不同目标位置的移动期望值，管理平台可以通过查询期望值对照表，确定自动堆垛机在当前位置时，前往目标位置的移动期望值。在一些实施例中，期望值对照表可以存储在管理平台，并由管理人员基于经验定期更新。
在一些实施例中，移动期望值可以相关于移动奖励值和移动惩罚值。
移动奖励值指自动堆垛机移动至目标位置带来的奖励值。
在一些实施例中，移动奖励值可以基于历史时间段内该目标位置被指定为指令中的取货位置的频率确定。例如，移动奖励值可以通过下述公式(2)计算得到：
其中，rm为移动奖励值，pa为历史时间段内管理平台下发的指令总数，pb为历史时间段内目标位置被指定为指令中的取货位置的次数，k为调节移动奖励值大小的预设参数，k可以基于经验确定，例如，k可以为10。
在一些实施例中，移动奖励值可以相关于第一命中度，管理平台可以基于第一命中度确定移动奖励值。关于第一命中度以及基于第一命中度确定移动奖励值的更多内容可以参见图5及其相关描述。
在一些实施例中，移动奖励值还可以相关于占比符合度，管理平台可以基于占比符合度确定移动奖励值。关于占比符合度以及基于占比符合度确定移动奖励值的更多内容可以参见图6及其相关描述。
移动惩罚值指自动堆垛机移动至目标位置带来的惩罚值。惩罚值可以用于描述自动堆垛机移动所带来的惩罚，可以与移动距离及移动耗能相关，例如，移动距离越远，耗能越大，则惩罚值越大。
在一些实施例中，移动惩罚值可以基于自动堆垛机的当前位置与目标位置的距离确定。例如，移动惩罚值可以通过下述公式(3)计算得到：
rp＝kd (3)
其中，rp为移动惩罚值，d为自动堆垛机的当前位置与目标位置的距离，k为调节移动惩罚值大小的预设参数，k可以基于经验确定，例如，k可以为1。
在一些实施例中，移动期望值可以基于移动奖励值和移动惩罚值确定。例如，移动期望值可以为移动奖励值与移动惩罚值的差值。
在本说明书一些实施例中，基于自动堆垛机的当前位置与目标位置的距离远近确定移动惩罚值，基于移动奖励值和移动惩罚值综合确定移动期望值，使得强化学习模型可以从提高效率和降低能耗两方面综合考虑，从而避免只追求效率或是只降低能耗，可以更高效地对立体仓库内的自动堆垛机进行调度。
在一些实施例中，可以将移动期望值确定为自动堆垛机执行前往目标位置动作的奖励值。
最优动作确定模块可以基于当前时刻的环境状态信息410、可选动作集合，确定最优可选动作。最优动作确定模块422的输入为环境状态信息410以及可选动作集合。最优动作确定模块422的输出为最优可选动作427。
在一些实施例中，对于可选动作集合中的每个可选动作，最优动作确定模块内部可以输出一个推荐值，最优动作确定模块可以将推荐值最大的可选动作确定为最优可选动作并作为输出。
在一些实施例中，最优动作确定模块422可以为机器学习模型，可以用各种方法实现，例如深度神经网络Deep Neural Network(DNN)、卷积神经网络Convolutional NeuralNetwork(CNN)、循环神经网络Recurrent Neural Network(RNN)等。
在一些实施例中，最优动作确定模块422可以基于强化学习方法训练得到，例如Deep Q-Learning Network(DQN)、Double Deep Q-Learning Network(DDQN)等。训练样本可以是历史的环境状态信息，标签为历史的环境状态信息下对应的最优可选动作。训练样本可以基于历史数据得到。训练样本的标签可以通过强化学习方法得到。
在一些实施例中，管理平台可以基于预设触发条件，周期执行强化学习模型420并输出最优可选动作。例如，预设触发条件为：自动堆垛机执行完强化学习模型420当前输出的最优可选动作。又例如，预设触发条件为：自动堆垛机执行完强化学习模型420当前输出的最优可选动作，且距上一次执行强化学习模型的时间已超过预设周期值，例如10秒。
在本说明书一些实施例中，通过强化学习模型确定自动堆垛机的目标待命位置，可以使得自动堆垛机基于环境信息提前前往未来指令可能对应的取货位置，从而减少自动堆垛机执行指令的时间，提高立体仓库整体的货物取放效率。
图5是根据本说明书一些实施例所示的基于第一命中度确定移动奖励值的示例性流程图。在一些实施例中，流程500可以由管理平台执行。如图5所示，流程500包括下述步骤：
步骤510，确定第一时间段。
第一时间段指以历史时刻为起始时刻、当前时刻为结束时刻的时间段。例如，设当前时刻为9:00，第一时间段可以为过去一小时内(即8:00-9:00)、过去两小时内(即7:00-9:00)等。
在一些实施例中，管理平台可以基于自动堆垛机历史执行的指令情况确定第一时间段。例如，管理平台可以将自动堆垛机历史执行的指令数量满足预设条件的最短历史时间段确定为第一时间段。示例性的，设当前时刻为9:00，预设条件为自动堆垛机历史完成执行的指令数量大于等于3，自动堆垛机在历史时间段内执行的指令情况(最近几次指令的执行)为：7:05完成一次指令的执行、7:35完成一次指令的执行、8:00完成一次指令的执行、8:30完成一次指令的执行、8:50完成一次指令的执行，则管理平台可以将第一时间段确定为8:00-9:00，该时间段为满足预设条件(指令完成数量为3)且最短的时间段。
步骤520，基于第一时间段确定至少一个历史空闲期，基于至少一个历史空闲期确定至少一个第二命中度。
历史空闲期指起始时刻和结束时刻均位于第一时间段内的空闲期。
在一些实施例中，管理平台可以基于第一时间段，获取自动堆垛机在第一时间段内的指令执行情况，基于指令执行情况确定至少一个历史空闲期。例如，设当前时刻为9:00，第一时间段为8:00-9:00，自动堆垛机在第一时间段的指令执行情况为：8:00开始执行指令A、8:05完成指令A、8:15开始执行指令B、8:17完成指令B、8:35开始执行指令C、8:40完成指令C…则：时间段8:05-8:15为一个历史空闲期，时间段8:17-8:35为一个历史空闲期。
第二命中度可以用于描述自动堆垛机在历史空闲期的目标待命位置与该历史空闲期结束时接收的指令中的取货位置的接近程度。例如，自动堆垛机在某次历史空闲期位于目标待命位置(1，1，1)，该次历史空闲期结束时自动堆垛机接收到的指令对应的取货位置为(1，1，1)，则该次历史空闲期对应的第二命中度为100％。
在一些实施例中，管理平台可以基于历史空闲期，获取自动堆垛机在历史空闲期位于的目标待命位置、历史空闲期结束时接收的指令中的取货位置，基于目标待命位置和取货位置确定第二命中度。例如，第二命中度可以通过下述公式(4)计算得到：
其中，c为第二命中度，xa、ya、za对应于自动堆垛机在历史空闲期位于的目标待命位置坐标(xa，ya，za)，xb、yb、zb对应于历史空闲期结束时接收的指令中的取货位置(xb，yb，zb)，|xa-xb|表示对xa-xb取绝对值，max(xa,xb)表示取xa、xb两者的最大值，k1、k2、k3为权重参数。在一些实施例中，k1、k2、k3可以基于经验确定，例如，k1、k2、k3可以均为
步骤530，基于至少一个第二命中度，确定至少一个第二命中度中每个第二命中度对应的权重。
权重可以用于描述：用于计算第一命中度时，第二命中度的可供参考的程度。例如，第二命中度对应的权重越大，该第二命中度可供参考的程度就越大。
在一些实施例中，管理平台可以获取至少一个第二命中度中每个第二命中度对应的空闲期的结束时刻，基于空闲期的结束时刻与当前时刻的间隔，确定每个第二命中度对应的权重。例如，权重可以通过下述公式(5)计算得到：
其中，m为第二命中度对应的权重，t为第二命中度对应的空闲期的结束时刻与当前时刻的间隔，k为调节权重大小的预设参数，k可以基于经验确定，例如，k可以为1。
步骤540，基于至少一个第二命中度及其对应的权重，确定第一命中度。
第一命中度可以用于描述自动堆垛机在第一时间段内至少一个空闲期的目标待命位置，与该空闲期结束时接收的指令中的取货位置的接近程度的平均值。
在一些实施例中，管理平台可以基于至少一个第二命中度及其对应的权重，通过加权求和的方式确定第一命中度。示例性的，第一命中度可以通过下述公式(6)计算得到：
其中，为第一命中度，A为第二命中度构成的集合，对集合A中的每个第二命中度以正整数编号，ci为该集合中的第i个第二命中度，mi为第二命中度ci的权重。
步骤550，基于第一命中度确定移动奖励值。
在一些实施例中，管理平台可以基于第一命中度确定移动奖励值。例如，移动奖励值可以通过下述公式(7)计算得到：
其中，rm为移动奖励值，为第一命中度，pa为历史时间段内管理平台下发的指令总数，pb为历史时间段内目标位置被指定为指令中的取货位置的次数，k为调节移动奖励值大小的预设参数，k可以基于经验确定，例如，k可以为10。
在本说明书一些实施例中，通过引入第一命中度来确定移动奖励值，可以充分考虑自动堆垛机历史前往的目标待命位置的可靠程度，从而将历史情况作为参考对未来行为作出指导，可以更准确地确定自动堆垛机的目标待命位置。
图6是根据本说明书一些实施例所示的基于占比符合度确定移动奖励值的示例性流程图。在一些实施例中，流程600可以由管理平台执行。如图6所示，流程600包括下述步骤：
步骤610，获取当前时刻的货物占比与空位占比。
货物占比指立体仓库中已存放货物占立体仓库中总容量的比值。空位占比指立体仓库当前未存放货物的空位中占立体仓库总容量的占比。例如，当前立体仓库中已存放货物为400件，立体仓库的总容量为1000件，则货物占比为40％，空位占比为60％。在一些实施例中，管理平台可以通过货架上的传感器、摄像头或其他方式获取当前时刻的货物占比与空位占比。
步骤620，获取管理平台在历史时间段发出的至少一个指令，基于至少一个指令确定出库指令的占比与入库指令的占比。
在一些实施例中，历史时间段可以基于经验确定。例如，历史时间段可以是最近2小时、最近1小时等。在一些实施例中，管理平台可以获取自身在该历史时间段内发送的指令，并统计出库指令与入库指令的数量，基于出库指令的数量与发送的指令总数确定出库指令的占比，基于入库指令与发送的指令总数确定入库指令的占比。
步骤630，响应于目标位置为某个货架的某行某列，基于货物占比与出库指令占比确定占比符合度；响应于目标位置为取货台，基于空位占比和入库指令占比确定占比符合度。
占比符合度指目标货架中的货物占比与管理平台历史时间段发出的出库指令占比、目标货架中的空位占比与管理平台历史时间段发出的入库指令占比的符合程度，例如，货物占比为90％，出库指令占比为80％，则可以认为下一个指令为出库指令的概率很高，因此占比符合度很高。又例如，货物占比为80％，出库指令占比为10％，从货物占比来看，下一个指令更可能是出库，从指令占比来看，下一个指令更可能是入库，此时难以判断下一个指令更可能是出库指令还是入库指令，因此占比符合度可以较低。
在一些实施例中，响应于目标位置为某个货架的某行某列，管理平台可以基于货物占比和出库指令占比、空位占比以及入库指令占比确定占比符合度。例如，占比符合度可以通过下述公式(8)计算得到：
e＝acbc (8)
其中，e为占比符合度，ac为目标位置对应货架的货物占比，bc为历史时间段内管理平台发出的出库指令占比。
在一些实施例中，响应于目标位置为某个取货台，管理平台可以基于空位占比和入库指令占比确定占比符合度。例如，占比符合度可以通过下述公式(9)计算得到：
e＝adbd (9)
其中，e为占比符合度，ad为立体仓库的空位占比，bd为历史时间段内管理平台发出的入库指令占比。
步骤640，基于占比符合度确定移动奖励值。
在一些实施例中，管理平台可以基于占比符合度、第一命中度确定移动奖励值。
例如，移动奖励值可以通过下述公式(10)计算得到：
其中，rm为移动奖励值，e为占比符合度，为第一命中度，pa为历史时间段内管理平台下发的指令总数，pb为历史时间段内目标位置被指定为指令中的取货位置的次数，k1和k2为权重系数，k1和k2可以基于经验确定，例如，k1可以为10，k2可以为5。
在本说明书一些实施例中，通过引入占比符合度来确定移动奖励值，不仅考虑了自动堆垛机自身相关信息，还考虑了立体库房的货物占比、出库入库指令占比等信息，使得强化学习模型可以学习到立体库房的相关信息，从而更准确地确定自动堆垛机的目标待命位置。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.用于智能立体库房的工业物联网，其特征在于，包括用户平台、服务平台和管理平台，所述管理平台被配置为执行以下操作：
所述用户平台向所述服务平台发出第一指令，所述服务平台基于所述第一指令确定第二指令，并发送至所述管理平台；响应于接收到来自所述服务平台的所述第二指令，确定自动堆垛机的运动力是否满足执行条件，所述第一指令包括货物调取指令；
响应于所述自动堆垛机的所述运动力满足所述执行条件，控制所述自动堆垛机执行取放操作；
响应于所述自动堆垛机完成所述取放操作，确定目标待命位置，以及控制所述自动堆垛机前往所述目标待命位置。
2.根据权利要求1所述的用于智能立体库房的工业物联网，其特征在于，所述工业物联网还包括：传感网络平台和对象平台；所述用户平台、所述服务平台、所述管理平台、所述传感网络平台和所述对象平台由上至下依次交互；
所述服务平台采用独立式布置，所述管理平台和所述传感网络平台均采用前分平台式布置；所述独立式布置是指所述服务平台设置多个独立的分平台，所述多个独立的分平台分别对不同下层平台的数据进行数据存储、数据处理和/或数据传输；所述前分平台式布置是指对应平台设置有一个总平台和多个分平台，所述多个分平台分别存储和处理下层平台发送的不同类型或不同接收对象的数据，所述一个总平台对所述多个分平台的数据进行汇总后存储和处理，并传输数据至上层平台；所述对象平台被配置为智能立体库房中不同货架区域的自动堆垛机。
所述服务平台的分平台对应不同的用户平台，所述第一指令由所述用户平台发出，所述用户平台对应的服务平台的分平台接收所述第一指令并将所述第一指令转换成所述管理平台可识别的第二指令并下发所述第二指令至管理平台的总平台；所述第二指令至少包括指令编号、货架区域、货物取放数量及货物取放位置；
所述管理平台的总平台接收所述第二指令，提取所述第二指令中的货架区域信息，基于所述货架区域信息将所述第二指令发送至对应货架区域的管理平台的分平台；
所述管理平台的分平台接收所述第二指令后，将所述第二指令中的所述指令编号、所述货物取放数量及所述货物取放位置提取并转换成所述自动堆垛机可识别的第三指令，并将所述货架区域信息和所述第三指令一并发送至传感网络平台的总平台；
所述传感网络平台的总平台接收所述货架区域信息和所述第三指令后，基于所述货架区域信息，将所述第三指令发送至所述对应货架区域的传感网络平台的分平台；
所述传感网络平台的分平台接收所述第三指令，将其发送至其对应的一个或多个自动堆垛机，所述一个或多个自动堆垛机基于所述第三指令执行货物取放，并反馈货物取放结果数据。
3.根据权利要求2所述的用于智能立体库房的工业物联网，其特征在于，所述对应的服务平台的分平台接收所述第一指令并将所述第一指令转换成所述管理平台可识别的第二指令并下发所述第二指令至所述管理平台的总平台，具体为：
当所述服务平台的分平台接收所述第一指令时，所述服务平台的分平台至少提取所述第一指令中的所述指令编号、所述货架区域、所述货物取放数量及所述货物取放位置；
将所述指令编号、所述货架区域、所述货物取放数量及所述货物取放位置依次编译为对应的数据代码，最后将所有代码按照编译规则形成数据代码集；
将所述数据代码集转换成所述管理平台可识别的第二指令并下发所述第二指令至所述管理平台的总平台。
4.根据权利要求2所述的用于智能立体库房的工业物联网，其特征在于，所述管理平台的总平台接收所述第二指令，提取所述第二指令中的所述货架区域信息，基于所述货架区域信息将所述第二指令发送至所述对应货架区域的所述管理平台的分平台，具体为：
所述管理平台的总平台预存有货架区域信息关联表，所述货架区域信息关联表中至少包括所述货架区域及其对应的所述管理平台的分平台；
当所述管理平台的总平台接收所述第二指令后，提取所述第二指令中的所述货架区域信息，并基于所述货架区域信息关联表找出所述货架区域对应的所述管理平台的分平台作为目标平台；
所述管理平台的总平台将所述第二指令发送至对应的所述目标平台。
5.根据权利要求2所述的用于智能立体库房的工业物联网，其特征在于，所述传感网络平台的总平台接收所述货架区域信息和所述第三指令后，基于所述货架区域信息，将所述第三指令发送至对应所述货架区域的传感网络平台的分平台，具体为：
所述传感网络平台的总平台接收所述货架区域信息和所述第三指令后，先提取所述货架区域信息，基于所述货架区域信息找出所述货架区域对应的所述传感网络平台的分平台；
所述传感网络平台的总平台将所述第三指令发送至对应所述货架区域的所述传感网络平台的分平台。
6.根据权利要求2所述的用于智能立体库房的工业物联网，其特征在于，当所述第三指令还包括执行时刻数据时，所述一个或多个自动堆垛机在接收第三指令后，读取执行时刻数据，并在执行时刻执行所述第三指令。
7.根据权利要求2所述的用于智能立体库房的工业物联网，其特征在于，还包括：
所述一个或多个自动堆垛机反馈所述货物取放结果数据后，所述货物取放结果数据通过所述传感网络平台和所述管理平台发送至所有的服务平台的分平台；
所述所有的服务平台的分平台均存储有货物数据表，所述货物数据表对应所有取货区域的所有货物数量及存放位置；
当所述服务平台的分平台获取货物取放结果数据后，读取所述货物取放结果数据，基于所述货物取放数据内获取取放数量和位置，更新所述货物数据表；
当所述用户平台下达所述第一指令前，对应的服务平台的分平台发送所述货物数据表至所述用户平台，所述用户平台基于所述货物数据表即可查阅所述货物数据及下达所述第一指令。
8.根据权利要求1所述的用于智能立体库房的工业物联网，其特征在于，所述目标待命位置基于强化学习模型确定；所述强化学习模型中所述自动堆垛机可执行的动作包括：静止和前往目标位置；其中，
所述自动堆垛机执行所述静止动作的奖励值相关于空闲时长和空闲期内的移动长度；
所述自动堆垛机执行所述前往目标位置动作的奖励值相关于前往所述目标位置的移动期望值。
9.用于智能立体库房的工业物联网的控制方法，其特征在于，所述工业物联网包括由上至下依次交互的用户平台、服务平台、管理平台、传感网络平台和对象平台；
所述服务平台采用独立式布置，所述管理平台和所述传感网络平台均采用前分平台式布置；所述独立式布置是指所述服务平台设置多个独立的分平台，所述多个独立的分平台分别对不同下层平台的数据进行数据存储、数据处理和/或数据传输；所述前分平台式布置是指对应平台设置有一个总平台和多个分平台，所述多个分平台分别存储和处理下层平台发送的不同类型或不同接收对象的数据，所述一个总平台对所述多个分平台的数据进行汇总后存储和处理，并传输数据至上层平台；所述对象平台被配置为智能立体库房中不同货架区域的自动堆垛机；
所述控制方法包括：
所述服务平台的分平台对应不同的用户平台，第一指令由所述用户平台发出，所述用户平台对应的服务平台的分平台接收所述第一指令并将所述第一指令转换成所述管理平台可识别的第二指令并下发所述第二指令至管理平台的总平台；所述第二指令至少包括指令编号、货架区域、货物取放数量及货物取放位置；
所述管理平台的总平台接收所述第二指令，提取所述第二指令中的货架区域信息，基于所述货架区域信息将第二指令发送至对应货架区域的管理平台的分平台；
所述管理平台的分平台接收所述第二指令后，将所述第二指令中的所述指令编号、所述货物取放数量及所述货物取放位置提取并转换成自动堆垛机可识别的第三指令，并将货架区域信息和所述第三指令一并发送至传感网络平台的总平台；
所述传感网络平台的总平台接收所述货架区域信息和所述第三指令后，基于所述货架区域信息，将所述第三指令发送至对应货架区域的传感网络平台的分平台；
所述传感网络平台的分平台接收所述第三指令，将其发送至其对应的一个或多个自动堆垛机，所述一个或多个自动堆垛机基于所述第三指令执行货物取放，并反馈货物取放结果数据。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取所述存储介质中的所述计算机指令后，计算机运行如权利要求9所述的用于智能立体库房的工业物联网的控制方法。
CN202310837881.1A 2022-08-01 2023-07-10 用于智能立体库房的工业物联网、控制方法及其存储介质 Pending CN116902449A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/816,432 US20240043214A1 (en) 2022-08-01 2022-08-01 Industrial internet of things for intelligent three-dimensional warehouse, controlling methods and storage medium thererof
US17/816,432 2022-08-01

Publications (1)

Publication Number Publication Date
CN116902449A true CN116902449A (zh) 2023-10-20

Family

ID=88361083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310837881.1A Pending CN116902449A (zh) 2022-08-01 2023-07-10 用于智能立体库房的工业物联网、控制方法及其存储介质

Country Status (2)

Country Link
US (1) US20240043214A1 (zh)
CN (1) CN116902449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118387518A (zh) * 2024-06-26 2024-07-26 成都秦川物联网科技股份有限公司 基于工业物联网的搬运设备控制方法、系统及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117933666B (zh) * 2024-03-21 2024-07-12 合肥壹号智能科技有限公司 一种密集仓储机器人调度方法、装置、介质、设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118387518A (zh) * 2024-06-26 2024-07-26 成都秦川物联网科技股份有限公司 基于工业物联网的搬运设备控制方法、系统及设备

Also Published As

Publication number Publication date
US20240043214A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
KR102616626B1 (ko) 실시간 배치 시뮬레이션을 사용하여 패키지를 팔레트화하기 위한 로봇 시스템
US20140046733A1 (en) Facility Design and Management Systems For Achieving Business Goals
KR102251316B1 (ko) 강화 학습 및 시뮬레이션 기반의 공장 내 디스패칭 방법 및 그 장치
EP2724202B1 (en) Robot-enabled case picking
US10229385B2 (en) Free location item and storage retrieval
CN114912704A (zh) 优化仓库布局的方法、系统和计算机可读记录介质
CN116902449A (zh) 用于智能立体库房的工业物联网、控制方法及其存储介质
Ferrara et al. Fleet sizing of laser guided vehicles and pallet shuttles in automated warehouses
CN113120487B (zh) 库存系统及货物的存取方法
CN111661548B (zh) 物品拣选方法、装置、设备及存储介质
US11954641B2 (en) Systems and methods for optimizing space utilization of containers at retail storage facilities
US10713614B1 (en) Weight and vision based item tracking
CN112396369A (zh) 合并容器的方法、装置、电子设备和计算机可读介质
CN116596440A (zh) 一种自动化立体仓库出入库智能调度方法
CN117234214A (zh) 一种用于工业货物码垛的自动化穿梭车
CN116664053B (zh) 一种商品库存管理方法
CN111325510B (zh) 确定托盘位置的方法、装置、电子设备和仓库管理系统
CN117522279A (zh) 融合仓储感知信息的入库作业监控与货位分配优化方法
US20210027228A1 (en) Shipping operation assisting system, method therefor, and storage medium
CN116703104A (zh) 一种基于决策大模型的料箱机器人订单拣选方法及装置
Cestero et al. Storehouse: A reinforcement learning environment for optimizing warehouse management
CN114399247A (zh) 任务分配方法、电子设备、存储介质及计算机程序产品
AU2022286422A1 (en) Determining items to pick in a storage facility
Pfrommer et al. SLAPStack: A Simulation Framework and a Large-Scale Benchmark Use Case for Autonomous Block Stacking Warehouses
JP2022114019A (ja) プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination