CN113264313A - 取/放货的拍摄方法、拍摄模块以及搬运机器人 - Google Patents

取/放货的拍摄方法、拍摄模块以及搬运机器人 Download PDF

Info

Publication number
CN113264313A
CN113264313A CN202010537599.8A CN202010537599A CN113264313A CN 113264313 A CN113264313 A CN 113264313A CN 202010537599 A CN202010537599 A CN 202010537599A CN 113264313 A CN113264313 A CN 113264313A
Authority
CN
China
Prior art keywords
goods
target
image information
dimensional image
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010537599.8A
Other languages
English (en)
Inventor
林翰
郑睿群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hai Robotics Co Ltd
Original Assignee
Shenzhen Hairou Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hairou Innovation Technology Co Ltd filed Critical Shenzhen Hairou Innovation Technology Co Ltd
Priority to CN202010537599.8A priority Critical patent/CN113264313A/zh
Priority to EP21821841.0A priority patent/EP4155236A4/en
Priority to KR1020227044775A priority patent/KR20230033649A/ko
Priority to JP2022576340A priority patent/JP2023529003A/ja
Priority to PCT/CN2021/103043 priority patent/WO2021249569A1/zh
Publication of CN113264313A publication Critical patent/CN113264313A/zh
Priority to US18/064,577 priority patent/US20230111540A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07504—Accessories, e.g. for towing, charging, locking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/12—Platforms; Forks; Other load supporting or gripping members
    • B66F9/18—Load gripping or retaining means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0492—Storage devices mechanical with cars adapted to travel in storage aisles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geology (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种取/放货的拍摄方法、拍摄模块以及搬运机器人，该应用于搬运机器人，搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，该方法包括：获取目标货架包括目标位置的第一多维图像信息，所述目标货架中沿货架深度方向上布置的一个以上的存储位置；根据第一多维图像信息判断目标位置中是否存在第一货物；根据判断结果，确定拍摄模块的拍摄策略，拍摄策略用于获取目标位置的目标多维图像信息，目标位置为目标货架中搬运装置进行取/放货的存储位置。实现了沿货架深度方向的拍摄，以获得多维图像信息，进而提高搬运机器人取/放货的安全性，提升工作效率。

Description

取/放货的拍摄方法、拍摄模块以及搬运机器人
技术领域
本发明涉及智能仓储技术领域，尤其涉及一种取/放货的拍摄方法、拍摄模块以及搬运机器人。
背景技术
随着智能制造和仓储物流领域的网络化和智能化，仓储物流在企业生成管理过程中具有非常重要的地位，其中搬运机器人在智能仓储过程可以代替人工搬运，且需求在逐年上升。
现有技术在货架放置多件货物，加大搬运机器人的取/放货的难度，另外由于现实场景中货架震动或人为操作的失误，进一步提升了搬运机器人取/放货的难度，造成搬运机器人取/放货困难，不能保证取/放货的安全性。
发明内容
本发明提供一种取/放货的拍摄方法、拍摄模块以及搬运机器人，以实现沿货架深度方向的拍摄，获得多维图像信息，进而提高搬运机器人取/放货的安全性，提升工作效率。
第一方面，本发明实施例提供的一种取/放货的拍摄方法，应用于搬运机器人，所述搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，所述方法包括：
获取目标货架包括目标位置的第一多维图像信息，所述目标货架中沿货架深度方向上布置的一个以上的存储位置；
根据所述第一多维图像信息判断目标位置中是否存在第一货物；
根据判断结果，确定所述拍摄模块的拍摄策略，所述拍摄策略用于获取目标位置的目标多维图像信息，所述目标位置为所述货架中所述搬运装置进行取/放货的存储位置。
在一种可选的实施例中，所述目标位置为所述目标货架中沿货架深度方向的首个存储位置的浅位存储位置，或沿货架深度方向的第二个存储位置以及所述第二个存储位置之后的深位存储位置。
在一种可选的实施例中，根据所述第一多维图像信息，若判断所述目标位置中存在所述第一货物，则进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：根据所述第一多维图像信息，若确定所述目标位置中存在所述第一货物，并判断所述第一货物为目标货物，则进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述目标位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为是，则根据所述第一多维图像信息确定所述目标货物的姿态信息，若所述姿态信息符合预设要求，则进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为是，则根据所述第一多维图像信息确定所述目标货物的姿态信息，若所述姿态信息不符合预设要求，则当连续拍摄次数达到预设阈值时，启动应对方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为否，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中不存在所述第一货物，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述目标位置中不存在所述第一货物，则进行放货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则启动应对方案。
在一种可选的实施例中，所述第一多维图像信息包括第一深度信息，通过所述第一深度信息判断所述目标位置中是否存在所述第一货物。
在一种可选的实施例中，所述目标位置为所述深位存储位置，当检测所述深位存储位置之前的任一存储位置存在所述第二货物时，启动应对方案。
在一种可选的实施例中，所述第一多维图像信息包括第一深度信息，通过所述第一深度信息检测是否与所述目标位置对应的深度信息相对应，以判断是否存在所述第二货物。
在一种可选的实施例中，获取目标货架包括目标位置的第一多维图像信息，包括：所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动。
在一种可选的实施例中，所述搬运装置在目标货架范围外进行伸缩移动，或伸入所述目标货架范围内移动。
在一种可选的实施例中，所述应对方案包括：停止拍摄、发出警示信号、上报所述搬运机器人所属服务器中至少其一。
第二方面，本发明实施例提供的一种取/放货的拍摄方法，应用于搬运机器人，所述搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，所述方法包括：
获取目标货架上第一位置的第一多维图像信息，所述目标货架中沿货架深度方向上布置的多个存储位置，其中包括目标位置及其之前的第一位置；
根据所述第一多维图像信息判断所述第一位置中不存在第一货物，确定所述拍摄模块的第一拍摄策略以获取第二多维图像信息；
根据所述第二多维图像信息判断目标位置中是否存在第二货物，且根据判断结果，确定所述拍摄模块的第二拍摄策略，所述第二拍摄策略用于
获取目标位置的目标图像信息，所述目标位置为所述目标货架中所述搬运装置进行取/放货的存储位置。
在一种可选的实施例中，若检测所述第一多维图像信息所述第一位置中存在所述第一货物，则启动应对方案。
在一种可选的实施例中，若检测所述第一多维图像信息所述第一位置中存在所述第一货物，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
在一种可选的实施例中，确定所述拍摄模块的第一拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中不存在所述第一货物，则根据所述第一多维图像信息中所述目标位置的深度信息，结合控制指令，所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动，以形成所述第二多维图像信息。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，则进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，判断所述第二货物为目标货物，进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，确定所述第二货物为所述目标货物，且所述目标货物的姿态信息符合预设要求，进行取货。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则判断所述第二货物是否为目标货物；
若判断结果为是，则根据所述第二多维图像信息确定所述目标货物的姿态信息，若所述姿态信息不符合预设要求，则当连续拍摄次数达到预设次数阈值时，则启动对应方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则判断所述第二货物是否为目标货物；
若判断结果为否，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中不存在所述第二货物，则根据所述第二多维图像信息中所述目标位置的深度信息，结合控制指令，所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动。
在一种可选的实施例中，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则当连续拍摄次数达到预设阈值时，启动应对方案。
第三方面，本发明实施例提供的一种取/放货的拍摄系统，包括：存储器、处理器以及拍摄模块，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，并控制所述拍摄模块来执行第一方面、第二方面中任一项所述的拍摄方法。
第四方面，本发明实施例提供的一种拍摄模块，应用于第一方面、第二方面中任一项所述的方法，所述拍摄模块安装于所述搬运装置的至少以下一项部位：货叉手货前端、托盘底部、货叉后端。
在一种可选的实施例中，所述拍摄模块包括：二维相机、三维相机、可变焦相机、相机矩阵中至少之一。
在一种可选的实施例中，所述拍摄模块包括：带有长焦镜头的相机和带有短焦镜头的相机，且所述拍摄模块安装于所述搬运装置的托盘底部或者货叉后端。
在一种可选的实施例中，所述拍摄模块设安装于所述搬运装置的货叉手指前端，且所述拍摄模块跟随所述搬运装置的货叉手指在伸缩方向移动预设距离。
在一种可选的实施例中，所述拍摄模块包括：可变焦相机，且所述拍摄模块安装于所述搬运装置的托盘底部或者货叉后端。
在一种可选的实施例中，所述拍摄模块包括带长焦镜头的相机、带有短焦镜头的相机、可变焦相机的至少一个。
第五方面，本发明实施例提供的一种搬运机器人，包括移动底盘、搬运装置、存储货架、升降组件、拍摄模块，以及第四方面所述的拍摄系统，所述存储货架安装于所述移动底盘上，所述存储货架设置有沿竖直方向分布的若干存储货板，每个所述存储货板用于放置货物，所述搬运装置用于在固定货架和任何一个所述存储货板之间搬运货物，所述升降组件用于驱动所述搬运装置沿竖直方向移动，使得所述搬运装置升降至对应所述存储货板的高度或者固定货架的高度；所述搬运装置升降至对应所述存储货板的高度时，所述搬运装置沿搬运方向将货物移至相对应的所述存储货板上，或者所述搬运装置沿搬运方向将位于相对应的所述存储货板上的货物移出；所述搬运装置升降至对应固定货架的高度时，所述搬运装置沿搬运方向将货物移至相对应的固定货架上，或者所述搬运装置沿搬运方向将位于相对应固定货架上的货物移出；所述拍摄模块用于获取多维图像信息，以确定货物的位置；其中所述搬运装置包括货叉，所述货叉用于取出/放置货物。
本发明提供一种取/放货的拍摄方法、拍摄模块以及搬运机器人，该应用于搬运机器人，搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，该方法包括：获取目标货架包括目标位置的第一多维图像信息，目标货架中沿货架深度方向布置一个以上的存储位置；根据第一多维图像信息判断目标位置中是否存在第一货物；根据判断结果，确定拍摄模块的拍摄策略，拍摄策略用于获取目标位置的目标多维图像信息，目标位置为目标货架中搬运装置进行取/放货的存储位置。实现了沿货架深度方向的拍摄，以获得多维图像信息，进而提高搬运机器人取/放货的安全性，提升工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一典型应用场景图；
图2为本发明实施例提供的一种取/放货的拍摄方法流程图一；
图3为本发明实施例提供的确定拍摄模块的流程图一；
图4为本发明实施例提供的确定拍摄模块的流程图二；
图5为本发明实施例提供的一种取/放货的拍摄方法流程图二；
图6为本发明实施例提供的确定拍摄模块的流程图三；
图7为本发明实施例提供的确定拍摄模块的流程图四；
图8为本发明实施例提供的取/放货的拍摄系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
现有技术在货架放置多件货物，加大搬运机器人的取/放货难度，另外由于现实场景中货架震动或人为操作的失误，进一步提升了搬运机器人取/放货的难度，造成搬运机器人取/放货困难，降低取/放货的安全性。
图1为本发明提供的一典型应用场景图，如图1所示，本应用场景中利用搬运机器人11可以在目标货架12中深度方向实现取出/放置目标货物(例如图1第一行第二个货物后面的货物)，应用本发明的控制方法可以提高搬运机器人取/放货的安全性，从而保证智能仓储物流的高效性和准确性。
图2为本发明实施例提供的一种取/放货的拍摄方法流程图一，如图2所示，本实施例中取/放货的拍摄方法可以包括：
S201、获取目标货架包括目标位置的第一多维图像信息，目标货架中沿货架深度方向上布置一个以上的存储位置。其中，目标位置为目标货架中沿货架深度方向的首个存储位置的浅位存储位置，或沿货架深度方向的第二存储位置以及第二个存储位置之后的深位存储位置。
本实施例中，目标货架中沿货架深度方向可以布置一个或者多个存储位置，例如参考图1每层货架可以布置多个存储位置。目标位置可以为目标货架中沿货架深度方向上首个存储位置，也可以为沿货架深度方向的第二个存储位置，或者为第二个存储位置之后的深位存储位置。进而拍摄系统通过拍摄模块获取目标货架包括目标位置的第一多维图像信息，以便通过检测该第一多维图像信息来判断目标位置中是否存在货物。
S202、根据第一多维图像信息判断目标位置中是否存在第一货物。
本实施例中根据获取的第一多维图像信息，检测目标位置中是否存在货物点云信息，若存在货物点云信息则检测存在货物，例如为第一货物。
若检测目标位置中不存在货物点云信息，则不存在货物。
S203、根据判断结果，确定拍摄模块的拍摄策略，拍摄策略用于获取目标位置的目标多维图像信息，目标位置为目标货架中搬运装置进行取/放货的存储位置。
本实施例中，拍摄策略可以包括拍摄模块不跟随搬运装置在伸缩方向进行移动的继续拍摄、拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动，或者，启动对应方案，其中对应方案可以包括停止拍摄、发出警示信号、上报搬运机器人所属服务器中至少其一。
例如，根据判断结果结合控制指令，来确定拍摄模块的拍摄策略，从而最终获得目标位置的目标多维图像信息，以便后续搬运装置可以根据该目标多维图像信息执行相应的动作，例如取出/放置目标货物。
在一种可选的实施例中，根据第一多维图像信息，若判断目标位置中存在第一货物，则进行取货。例如通过检测第一多维图像信息，判断目标位置中存在货物，例如为第一货物，则进行取货，即表示该目标位置之前没有遮挡，搬运机器人可以取出货物。其中目标位置可以包括目标货架中沿货架深度方向的首个存储位置的浅位存储位置，也可以包括沿货架深度方向上第二存储位置的深位存储位置，以及第二存储位置之后的深位存储位置。例如参考图3，图3为本发明实施例提供的确定拍摄模块的流程图一，在一种可选的实施例中，在根据第一多维图像信息判断目标位置中是否存在第一货物之前，已确定目标位置之前不存在遮挡(未示出)。
在另一种可选的实施例中，根据判断结果，确定拍摄模块的拍摄策略，包括：根据第一多维图像信息，若确定目标位置中存在第一货物，并判断第一货物为目标货物，则进行取货。举例1，在根据第一多维图像信息判断目标位置中是否存在第一货物之前，已确定目标位置之前不存在遮挡，进而根据第一多维图像信息，若确定目标位置中存在货物，例如为第一货物，且该第一货物为搬运机器人待取出的目标货物，则搬运机器人进行取货。
进而，在另一种可选的实施例中，根据判断结果，确定拍摄模块的拍摄策略，包括：若根据第一多维图像信息确定目标位置中存在第一货物，则判断第一货物是否为目标货物；若判断结果为是，则根据第一多维图像信息确定目标货物的姿态信息，若姿态信息符合预设要求，则进行取货。举例2，在根据第一多维图像信息判断目标位置中是否存在第一货物之前，已确定目标位置之前不存在遮挡，进而根据第一多维图像信息，若确定目标位置中存在货物，例如为第一货物，且该第一货物为搬运机器人待取出的目标货物，进而根据第一多维图像信息检测目标货物的姿态信息，该姿态信息也符合预设要求，则搬运机器人进行取货。其中符合预设要求可以包括预测该搬运机器人在伸缩方向移动进行取货时，该姿态信息表示搬运装置可以容置该目标货物，且搬运装置可以不碰触其他对象的安全取货，其中其他对象可以包括其他货物和货架中至少之一。
在一种可选的实施例中，举例1的实施方式和举例2的实施方式可以同时发生，也可以按照先后顺序依次发生，例如可以先发生举例1的实施方式，再发生举例2的实施方式；或者举例1的实施方式和举例2实施方式的顺序可以调换，本发明不作限定。
结合图2所示的实施例，根据判断结果，确定拍摄模块的拍摄策略进一步可以通过以下方式实现，具体的，如图3所示，机器人获取取货指令后，根据实际的判断结果，可以确定拍摄模块不同的拍摄策略。其中第一位置可以包括目标位置或者目标位置之前的存储位置。
进一步，在一种可选的实施例中，若根据第一多维图像信息确定第一位置中存在第一货物，则判断第一货物是否为目标货物；若判断结果为是，则根据第一多维图像信息确定目标货物的姿态信息，若姿态信息不符合预设要求，则启动应对方案。其中，应对方案包括：停止拍摄、发出警示信号、上报搬运机器人所属服务器中至少其一。例如根据第一多维图信息确定第一位置中存在货物点云信息，则判断存在货物，例如为第一货物，进而判断该第一货物是否为目标货物，例如若该第一货物的尺寸符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断为目标货物，进而检测该目标货物的姿态信息不符合预设要求，例如通过该目标货物的姿态信息预测搬运装置不能安全取出该目标货物，则当连续拍摄次数达到预设阈值时，启动应对方案。其中目标货物的姿态信息不满足以下任一的预设要求：可以容置于搬运装置，不碰触其他货物和货架。本实施例中预设阈值不作限定，例如可以为5次。
在一种可选的实施例中，若根据第一多维图像信息确定第一位置中存在第一货物，则判断第一货物是否为目标货物；若判断结果为否，则，启动应对方案。例如，根据第一多维图信息确定第一位置中存在货物点云信息，则判断存在货物，例如第一货物，进而判断该第一货物是否为目标货物，例如若该第一货物的尺寸不符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断不存在目标货物，则启动对应方案。例如继续拍摄，直到连续拍摄次数达到预设阈值时，停止拍摄，其中预设阈值例如为5次，本实施例中不作限定。
在一种可选的实施例中，若根据第一多维图像信息确定第一位置中不存在第一货物，则启动应对方案。
例如，根据第一多维图信息确定第一位置中不存在货物点云信息，则判断不存在货物；启动应对方案，例如连续拍摄次数达到预设阈值，停止拍摄。
结合图2所示的实施例，根据判断结果，确定拍摄模块的拍摄策略进一步可以通过以下方式实现，具体的，参考图4，图4为本发明实施例提供的确定拍摄策略的流程图二，如图4所示，机器人获取放货指令后，根据实际的判断结果，可以确定拍摄模块不同的拍摄策略。
在一种可选的实施例中，若根据第一多维图像信息确定目标位置中不存在第一货物，则进行放货。
例如通过检测第一多维图像信息中目标位置不存在货物点云信息，则确定目标位置中不存在货物，则搬运装置可以根据放货指令进行放货。参考图4，可以在根据第一多维图像信息判断目标位置中是否存在第一货物之前，已确定目标位置之前不存在遮挡(未示出)，即表示目标位置之前不存在遮挡，根据第一多维图像信息确定目标位置不存在货物，例如第一货物，则搬运机器人可以进行放货。其中目标位置可以包括可以为目标货架中沿货架深度方向上首个存储位置，也可以为沿货架深度方向的第二个存储位置，或者为第二个存储位置之后的深位存储位置。
在一种可选的实施例中，若根据第一多维图像信息确定第一位置中存在第一货物，则启动应对方案。其中第一位置可以包括目标位置或者目标位置之前的存储位置。
例如检测第一多维图像信息中第一位置，存在货物点云信息，即表示存在货物，则启动应对方案，例如发出警示信号。
在一种可选的实施例中，第一多维图像信息可以包括第一深度信息，通过第一深度信息判断目标位置中是否存在第一货物。
例如根据第一多维图像信息检测第一深度信息，例如10cm，并根据该第一深度信息判断目标位置中是否存在货物点云信息。其中第一深度信息可以小于目标位置对应的深度信息，也可以大于或者等于目标位置对应的深度信息。
在一种可选的实施例中，目标位置为深位存储位置，当检测深位存储位置之前的任一存储位置存在第二货物时，启动应对方案。例如当目标位置为深位存储位置时，例如沿目标货架深度方向上的第三个存储位置，若检测该深位存储位置之前的第一个存储位置中检测出货物点云信息，例如存在第二货物，则启动应对方案。
在一种可选的实施例中，第一多维图像信息包括第一深度信息，通过第一深度信息检测是否与目标位置对应的深度信息相对应，以判断是否存在第二货物。其中目标位置对应的深度信息可以通过控制指令获得，例如取货控制指令或者放货控制指令。
例如，获取第一多维图像信息的第一深度信息，例如为10cm，根据目标位置对应的深度信息，例如10cm，确定第一深度信息与目标位置对应的深度信息相对应，则可以通过检测第一多维图像信息中目标位置之前的任一存储位置是否存在第二货物，例如若该目标位置之前的任一存储位置存在货物点云信息，则存在货物，例如为第二货物；或者若目标位置之前的任一存储位置中不存在点云信息，则判断不存在货物。其中目标位置可以包括深位存储位置。
结合图2所示的实施例，获取目标货架包括目标位置的第一多维图像信息，可以通过以下方式实现，具体的，拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动。其中拍摄模块可以包括三维相机、二维相机、可变焦相机、相机矩阵中的一个或者两个以上的组合。
例如目标位置可以包括目标货架中沿货架深度方向的首个存储位置的浅位存储位置，也可以包括沿货架深度方向上第二存储位置的深位存储位置，以及第二存储位置之后的深位存储位置。在一种可选的实施例中获取目标货架中包括目标位置的第一多维图像信息，可以通过拍摄模块跟随搬运装置在伸缩方向上进行预设距离的移动。例如为了获得更好的目标位置图像视野，或者为了避免货架层板反射光干涉，在获取第一多维图像信息时，拍摄模块可以跟随搬运装置在伸缩方向上进行预设距离的伸缩移动。其中预设距离本实施例不做限定，例如可以为2cm。
进一步，搬运装置可以在目标货架范围外进行伸缩移动，或是伸入目标货架范围内移动。
例如，在搬运机器人进行拍摄的过程中，根据多维图像信息的检测结果，例如包括第一深度信息、姿态信息，存储位置、货物点云信息中的至少之一，结合现实空间中目标位置的深度信息等，为了获得更好的目标位置图像视野或者为了避免货架层板反射光干涉，搬运装置在拍摄过程中可以在目标货架范围外进行伸缩移动，或者可以深入目标货架范围内移动。其中目标货架范围可以包现实空间中目标货架的预设范围，且可以采用现实空间中除去预设范围的范围表示为目标货架范围外。在一种可选的实施例中，应对方案可以包括停止拍摄、发出警示信号、上报搬运机器人所属的服务器中至少其一。例如可以包括连续拍摄次数大于预设阈值，停止拍摄或者直接停止拍摄。又例如可以发出警示信号，如发出语音警示信号或者通过指示灯等发出警示颜色信号，本实施例中不作限定。再例如需上报搬运机器人所属的服务器。
图5为本发明实施例提供的一种取/放货的拍摄方法流程图二，如图5所示，本实施例中取/放货的拍摄方法可以包括：
S301、获取目标货架上第一位置的第一多维图像信息，目标货架中沿货架深度方向上布置的多个存储位置，其中包括目标位置及其之前的第一位置。
本实施例中，目标货架沿货架深度方向上布置多个存储位置，其中可以包括目标位置及其之前的第一位置，其中，目标位置可以包括沿货架深度方向的第二个存储位置之后的深位存储位置。第一位置可以包括目标位置之前任一的存储位置。参考图1目标货架中标识“xy”货物所在的存储位置为目标位置，则其之前对应的第二存储位置或者第一存储位置可以表示第一位置。
S302、根据第一多维图像信息判断第一位置中不存在第一货物，确定拍摄模块的第一拍摄策略以获取第二多维图像信息。
结合上述示例，根据获取的第一多维图像信息，检测第一位置中不存在货物点云信息，例如不存在第一货物。即表示目标位置之前的存储位置不遮挡该目标位置。以便确定拍摄模块的第一拍摄策略并获取第二多维图像信息。其中第一拍摄策略可以包括拍摄模块不跟随搬运装置伸缩方向进行移动的继续拍摄，拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动，或者启动对应方案。
S303、根据第二多维图像信息判断目标位置中是否存在第二货物，且根据判断结果，确定拍摄模块的第二拍摄策略，第二拍摄策略用于获取目标位置的目标图像信息，目标位置为目标货架中搬运装置进行取/放货的存储位置。
本实施例中，第二拍摄策略可以包括拍摄模块不跟随搬运装置伸缩方向进行移动的继续拍摄，拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动，或者启动对应方案。
例如，根据获取的第二多维图像信息判断目标位置中是否存在第二货物，其中目标位置不同于第一位置，为深位存储位置。若检测第二多维图像中目标位置中存在货物点云信息，即存在货物，例如为第二货物，则判断结果为是，若检测第二多维图像信息的目标位置中不存在货物点云信息，则不存在货物即判断结果为否。根据判断结果结合控制指令，来确定拍摄模块的第二拍摄策略，从而最终获得目标位置的目标多维图像信息，以便后续搬运装置可以根据该目标多维图像信息执行相应的动作，例如取出/放置目标货物。
进一步，若检测第一多维图像信息第一位置中不存在第一货物，则启动应对方案，或者连续拍摄次数达到预设阈值时，启动应对方案。
例如，若检测第一多维图像信息第一位置中不存在第一货物，则确定拍摄模块的第一拍摄策略为启动应对方案，或者当连续拍摄次数达到预设阈值时，则启动应对方案。
结合图5示出的实施例，确定拍摄模块的第一拍摄策略进一步可以通过以下方式实现，具体的，参见图6、图7，图6为本发明实施例提供的确定拍摄模块的流程图三，图7为本发明实施例提供的确定拍摄模块的流程图四，如图6所示，搬运机器人获得取货控制指令，或者图7所示，搬运机器人获得放货控制指令，根据实际的判断结果，可以确定拍摄模块不同的拍摄策略。
若根据第一多维图像信息确定第一位置中不存在第一货物，则根据第一多维图像信息中目标位置的深度信息，结合控制指令，拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动，以形成第二多维图像信息。其中控制指令可以包括目标位置的深度信息。
例如检测第一多维图像信息中第一位置不存在第一货物，根据第一多维图像信息中目标位置的深度信息，例如5cm，结合控制指令中目标位置的深度信息，例如10cm，确定拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动，以形成第二多维图像信息。其中预设距离可以等于5cm，或者大于、小于5cm，本实施例不作限定。其中控制指令可以包括取货指令或者放货指令。
在一种可选的实施例中，根据判断结果，确定拍摄模块的第二拍摄策略，包括：若根据第二多维图像信息确定目标位置中存在第二货物，进行取货。
例如第二多维图像信息中目标位置中存在货物点云信息，例如为第二货物，在一种可选的实施例中第二货物为搬运装置带取出的货物，则进行取货。
在一种可选的实施例中，根据判断结果，确定拍摄模块的第二拍摄策略，包括：若根据第二多维图像信息确定目标位置中存在第二货物，判断第二货物为目标货物，进行取货。
例如第二多维图像信息中目标位置中存在货物点云信息，例如为第二货物，且检测该第二货物为目标货物，则进行取货。其中例如若该第二货物的尺寸符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断为目标货物。
在一种可选的实施例中，若根据第二多维图像信息确定目标位置中存在第二货物，确定第二货物为目标货物，且目标货物的姿态信息符合预设要求，进行取货。
例如根据第二多维图像信息确定目标位置存在第二货物，且该第二货物为搬运机器人待取出的目标货物，进而根据第二多维图像信息检测目标货物的姿态信息，该姿态信息也符合预设要求，则搬运机器人进行取货。其中符合预设要求可以包括预测该搬运机器人在伸缩方向移动进行取货时，该姿态信息表示搬运装置可以容置该目标货物，且搬运装置可以不碰触其他对象的安全取货，其中其他对象可以包括其他货物和货架中至少之一。
进一步，在一种可选的实施例中，若根据第二多维图像信息确定目标位置中存在第二货物，则判断第二货物是否为目标货物；若判断结果为是，则根据第二多维图像信息确定目标货物的姿态信息，若姿态信息符合预设要求，则进行取货。
例如根据第二多维图信息确定目标位置中存在货物点云信息，则判断存在货物，例如第二货物，进而判断该第二货物是否为目标货物，例如若该第二货物的尺寸符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断为目标货物，进而检测该目标货物的姿态信息，若该目标货物的姿态信息可以容置于搬运装置，且不碰触其他货物和货架，则进行取货，且将该第二多维图像信息确定为目标多维图像信息，根据该目标多维图像信息使搬运机器人执行相应的动作，例如取出目标货物。
在一种可选的实施例中，根据判断结果，确定拍摄模块的第二拍摄策略，包括：若根据第二多维图像信息确定目标位置中存在第二货物，则判断第二货物是否为目标货物；
若判断结果为是，则根据第二多维图像信息确定目标货物的姿态信息，若姿态信息不符合预设要求，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
例如，根据第二多维图信息确定目标位置中存在货物点云信息，则判断存在货物，例如第二货物，进而判断该第二货物是否为目标货物，例如若该第二货物的尺寸符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断为目标货物，进而检测该目标货物的姿态信息，若该目标货物的姿态信息不满足以下任一的预设要求：可以容置于搬运装置，且不碰触其他货物和货架；则当连续拍摄次数达到预设阈值时，启动应对方案。本实施例中预设阈值不作限定，例如可以为5次。
在一种可选的实施例中，若根据第二多维图像信息确定目标位置中存在第二货物，则判断第二货物是否为目标货物；
若判断结果为否，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
例如，根据第二多维图信息确定目标位置中存在货物点云信息，则判断存在货物，例如第二货物，进而判断该第二货物是否为目标货物，例如若该第二货物的尺寸不符合该目标货物的尺寸，其中尺寸可以包括宽度，则判断结果不是目标货物；则当连续拍摄次数达到预设阈值时，启动应对方案。本实施例中预设次数阈值不作限定，例如可以为5次。
在一种可选的实施例中，若根据第二多维图像信息确定目标位置中不存在第二货物，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
例如，根据第二多维图信息确定目标位置中不存在货物点云信息，则判断不存在货物；则当连续拍摄次数达到预设次数阈值时，启动应对方案。本实施例中预设次数阈值不作限定，例如可以为5次。
结合图5示出的实施例，根据判断结果，确定拍摄模块的第二拍摄策略进一步可以通过以下方式实现，具体的，参见图7，图7为本发明实施例提供的确定拍摄模块的流程图四，如图7所示，搬运机器人获取放货指令后，根据实际的判断结果，可以确定拍摄模块不同的拍摄策略。在一种可选的实施例中，若根据第二多维图像信息确定目标位置中不存在第二货物，则根据第二多维图像信息中目标位置的深度信息，结合控制指令，拍摄模块跟随搬运装置在伸缩方向进行预设距离的移动。
例如检测第二多维图像信息中目标位置，不存在货物点云信息，则根据第二多维图像信息中目标位置的深度信息，例如10cm，结合控制指令中包含的现实空间的深度信息，例如15cm，可以通过拍摄模块跟随搬运装置在伸缩方向移动预设距离，以便进一步获得包含目标位置的第二多维图像信息。在一种可选的实施例中，可以根据该第二多维图像信息，搬运装置直接执行放货动作。
在一种可选的实施例中，若根据第二多维图像信息确定目标位置中存在第二货物，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
例如检测第二多维图像信息中目标位置，存在货物点云信息，则当连续拍摄次数达到预设阈值时，启动应对方案。
在一种可选的实施中，拍摄模块包括：二维相机、三维相机、可变焦相机、相机矩阵中至少之一。
例如拍摄模块可以包括二维相机，例如黑白相机、彩色相机，也包括多维相机，例如三维相机，例如深度相机或全景相机，也可以为多个相机的组合，亦或是相异角度多镜头相机，又或是不同维度相机组成的多维相机矩阵，只要能够获取目标货物的多维图像信息即可，还包括可变焦相机。
在一种可选的实施例中，拍摄模块安装于搬运装置的至少以下一项部位：货叉手货前端、托盘底部、货叉后端。
在一种可选的实施例中，拍摄模块包括：带有长焦镜头的相机和带有短焦镜头的相机，且拍摄模块安装于搬运装置的托盘底部或者货叉后端。
在一种可选的实施例中，拍摄模块设安装于搬运装置的货叉手指前端，且拍摄模块跟随搬运装置的货叉手指在伸缩方向移动预设距离。
在一种可选的实施例中，拍摄模块包括：可变焦相机，且拍摄模块安装于搬运装置的托盘底部或者货叉后端。
在一种可选的实施例中，若拍摄模块包含多个相机，拍摄模块包括带长焦镜头的相机、带有短焦镜头的相机、可变焦相机的至少一个。拍摄模块的多个相机可以分离配置也可以集成配置。
例如，拍摄模块为三维相机，且可以安装于搬运装置的货叉手指前端，在一种可选的实施例中，为避免货架层板反射光干涉，在获取多维图像信息时，拍摄模块可以跟随搬运装置在伸缩方向上进行预设距离移动。又例如，拍摄模块包括带有短焦镜头的相机和带有长焦镜头的相机，且该两相机平行安装于搬运机器人货叉托盘底部，在一种可选的实施例中，当拍摄浅位存储位置时，可以采用带有短焦镜头的相机，当拍摄深位存储位置时，可以采用带有长焦镜头的相机。又例如，拍摄模块包括一个带有短焦镜头的相机，且该带有短焦镜头的相机安装于搬运装置货叉手指前端，在一种可选的实施例中，当拍摄深位存储位置时，该带有短焦镜头的相机跟随搬运装置在伸缩方向进行预设距离的移动。再例如，拍摄模块包括可变焦相机，且该变焦相机可以安装于货叉后端，在一种可选的实施例中，无论拍摄浅位存储位置或者深位存储位置，均采用该可变焦相机。
图8为本发明实施例提供的取/放货的拍摄系统的结构示意图，如图8所示，本实施例的取/放货的拍摄系统40可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述取/放货的拍摄方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图2、图5所示方法中的技术方案，其具体实现过程和技术原理参见图2、图5所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (36)

1.一种取/放货的拍摄方法，应用于搬运机器人，其特征在于，所述搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，所述方法包括：
获取目标货架包括目标位置的第一多维图像信息，所述目标货架中沿货架深度方向上布置一个以上的存储位置；
根据所述第一多维图像信息判断目标位置中是否存在第一货物；
根据判断结果，确定所述拍摄模块的拍摄策略，所述拍摄策略用于获取目标位置的目标多维图像信息，所述目标位置为所述目标货架中所述搬运装置进行取/放货的存储位置。
2.根据权利要求1所述的拍摄方法，其特征在于，所述目标位置为所述目标货架中沿货架深度方向的首个存储位置的浅位存储位置，或沿货架深度方向的第二个存储位置以及所述第二个存储位置之后的深位存储位置。
3.根据权利要求1所述的拍摄方法，其特征在于，根据所述第一多维图像信息，若判断所述目标位置中存在所述第一货物，则进行取货。
4.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：根据所述第一多维图像信息，若确定所述目标位置中存在所述第一货物，并判断所述第一货物为目标货物，则进行取货。
5.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述目标位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为是，则根据所述第一多维图像信息确定所述目标货物的姿态信息，若所述姿态信息符合预设要求，则进行取货。
6.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为是，则根据所述第一多维图像信息确定所述目标货物的姿态信息，若所述姿态信息不符合预设要求，则当连续拍摄次数达到预设阈值时，启动应对方案。
7.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则判断所述第一货物是否为目标货物；
若判断结果为否，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
8.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中不存在所述第一货物，则当连续拍摄次数达到预设阈值时，启动应对方案。
9.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述目标位置中不存在所述第一货物，则进行放货。
10.根据权利要求1所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中存在所述第一货物，则启动应对方案。
11.根据权利要求1所述的拍摄方法，其特征在于，所述第一多维图像信息包括第一深度信息，通过所述第一深度信息判断所述目标位置中是否存在所述第一货物。
12.根据权利要求2所述的拍摄方法，其特征在于，所述目标位置为所述深位存储位置，当检测所述深位存储位置之前的任一存储位置存在第二货物时，启动应对方案。
13.根据权利要求12所述的拍摄方法，其特征在于，所述第一多维图像信息包括第一深度信息，通过所述第一深度信息检测是否与所述目标位置对应的深度信息相对应，以判断是否存在所述第二货物。
14.根据权利要求1所述的拍摄方法，其特征在于，获取目标货架包括目标位置的第一多维图像信息，包括：所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动。
15.根据权利要求14所述的方法，其特征在于，所述搬运装置在目标货架范围外进行伸缩移动，或伸入所述目标货架范围内移动。
16.根据权利要求6所述的拍摄方法，其特征在于，所述应对方案包括：停止拍摄、发出警示信号、上报所述搬运机器人所属服务器中至少其一。
17.一种取/放货的拍摄方法，应用于搬运机器人，其特征在于，所述搬运机器人配置有用于取/放货的搬运装置以及拍摄模块，所述方法包括：
获取目标货架上第一位置的第一多维图像信息，所述目标货架中沿货架深度方向上布置多个存储位置，其中包括目标位置及其之前的第一位置；
根据所述第一多维图像信息判断所述第一位置中不存在第一货物，确定所述拍摄模块的第一拍摄策略以获取第二多维图像信息；
根据所述第二多维图像信息判断目标位置中是否存在第二货物，且根据判断结果，确定所述拍摄模块的第二拍摄策略，所述第二拍摄策略用于获取目标位置的目标图像信息，所述目标位置为所述目标货架中所述搬运装置进行取/放货的存储位置。
18.根据权利要求17所述的拍摄方法，其特征在于，若检测所述第一多维图像信息所述第一位置中存在所述第一货物，则启动应对方案。
19.根据权利要求17所述的拍摄方法，其特征在于，若检测所述第一多维图像信息所述第一位置中存在所述第一货物，则当连续拍摄次数达到预设次数阈值时，启动应对方案。
20.根据权利要求17所述的拍摄方法，其特征在于，确定所述拍摄模块的第一拍摄策略，包括：
若根据所述第一多维图像信息确定所述第一位置中不存在所述第一货物，则根据所述第一多维图像信息中所述目标位置的深度信息，结合控制指令，所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动，以形成所述第二多维图像信息。
21.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，则进行取货。
22.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，且判断所述第二货物为目标货物，则进行取货。
23.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在第二货物，确定所述第二货物为目标货物，且所述目标货物的姿态信息符合预设要求，则进行取货。
24.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则判断所述第二货物是否为目标货物；
若判断结果为是，则根据所述第二多维图像信息确定所述目标货物的姿态信息，若所述姿态信息不符合预设要求，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
25.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则判断所述第二货物是否为目标货物；
若判断结果为否，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
26.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中不存在所述第二货物，则当连续拍摄次数达到预设次数阈值时，则启动应对方案。
27.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中不存在所述第二货物，则根据所述第二多维图像信息中所述目标位置的深度信息，结合控制指令，所述拍摄模块跟随所述搬运装置在伸缩方向进行预设距离的移动。
28.根据权利要求17所述的拍摄方法，其特征在于，根据判断结果，确定所述拍摄模块的第二拍摄策略，包括：
若根据所述第二多维图像信息确定所述目标位置中存在所述第二货物，则当连续拍摄次数达到预设阈值时，启动应对方案。
29.一种取/放货的拍摄系统，其特征在于，包括：存储器、处理器以及拍摄模块，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，并控制所述拍摄模块来执行权利要求1-28任一项所述的拍摄方法。
30.一种拍摄模块，应用于权利要求1-28中任一项所述的方法，其特征在于，所述拍摄模块安装于所述搬运装置的至少以下一项部位：货叉手指前端、托盘底部、货叉后端。
31.根据权利要求30所述的拍摄模块，其特征在于，所述拍摄模块包括：二维相机、三维相机、可变焦相机、相机矩阵中至少之一。
32.根据权利要求30所述的拍摄模块，其特征在于，所述拍摄模块包括：带有长焦镜头的相机和带有短焦镜头的相机，且所述拍摄模块安装于所述搬运装置的托盘底部或者货叉后端。
33.根据权利要求30所述的拍摄模块，其特征在于，所述拍摄模块安装于所述搬运装置的货叉手指前端，且所述拍摄模块跟随所述搬运装置的货叉手指在伸缩方向移动预设距离。
34.根据权利要求30所述的拍摄模块，其特征在于，所述拍摄模块包括：可变焦相机，且所述拍摄模块安装于所述搬运装置的托盘底部或者货叉后端。
35.根据权利要求30所述的拍摄模块，其特征在于，所述拍摄模块包括带长焦镜头的相机、带有短焦镜头的相机、可变焦相机的至少一个。
36.一种搬运机器人，其特征在于，包括移动底盘、搬运装置、存储货架、升降组件、拍摄模块，以及权利要求29所述的拍摄系统，所述存储货架安装于所述移动底盘上，所述存储货架设置有沿竖直方向分布的若干存储货板，每个所述存储货板用于放置货物，所述搬运装置用于在固定货架和任何一个所述存储货板之间搬运货物，所述升降组件用于驱动所述搬运装置沿竖直方向移动，使得所述搬运装置升降至对应所述存储货板的高度或者固定货架的高度；所述搬运装置升降至对应所述存储货板的高度时，所述搬运装置沿搬运方向将货物移至相对应的所述存储货板上，或者所述搬运装置沿搬运方向将位于相对应的所述存储货板上的货物移出；所述搬运装置升降至对应固定货架的高度时，所述搬运装置沿搬运方向将货物移至相对应的固定货架上，或者所述搬运装置沿搬运方向将位于相对应固定货架上的货物移出；所述拍摄模块用于获取多维图像信息，以确定货物的位置；其中所述搬运装置包括货叉，所述货叉用于取出/放置货物。
CN202010537599.8A 2020-06-12 2020-06-12 取/放货的拍摄方法、拍摄模块以及搬运机器人 Pending CN113264313A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010537599.8A CN113264313A (zh) 2020-06-12 2020-06-12 取/放货的拍摄方法、拍摄模块以及搬运机器人
EP21821841.0A EP4155236A4 (en) 2020-06-12 2021-06-29 IMAGE CAPTURE METHOD FOR PRODUCT CAPTURE/LOADING, IMAGE CAPTURE MODULE AND TRANSFER ROBOT
KR1020227044775A KR20230033649A (ko) 2020-06-12 2021-06-29 화물 픽업 또는 로딩의 촬영 방법, 촬영 시스템 및 운반 로봇
JP2022576340A JP2023529003A (ja) 2020-06-12 2021-06-29 荷物の取り出しまたは収納の撮影方法、撮影システムおよび搬送ロボット
PCT/CN2021/103043 WO2021249569A1 (zh) 2020-06-12 2021-06-29 取/放货的拍摄方法、拍摄模块以及搬运机器人
US18/064,577 US20230111540A1 (en) 2020-06-12 2022-12-12 Photographing method for picking or placing, photographing system, and transport robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537599.8A CN113264313A (zh) 2020-06-12 2020-06-12 取/放货的拍摄方法、拍摄模块以及搬运机器人

Publications (1)

Publication Number Publication Date
CN113264313A true CN113264313A (zh) 2021-08-17

Family

ID=77227690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537599.8A Pending CN113264313A (zh) 2020-06-12 2020-06-12 取/放货的拍摄方法、拍摄模块以及搬运机器人

Country Status (6)

Country Link
US (1) US20230111540A1 (zh)
EP (1) EP4155236A4 (zh)
JP (1) JP2023529003A (zh)
KR (1) KR20230033649A (zh)
CN (1) CN113264313A (zh)
WO (1) WO2021249569A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
CN115140486A (zh) * 2022-07-13 2022-10-04 深圳市海柔创新科技有限公司 料箱取出方法和入库方法、装置、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002068410A (ja) * 2000-08-31 2002-03-08 Matsushita Electric Ind Co Ltd 自動倉庫ロボットの自動ティーチング方法と自動ティーチング装置
CN103708161A (zh) * 2013-12-20 2014-04-09 东南大学 一种重力货架的并行布局系统及方法
EP3032460A1 (en) * 2014-12-10 2016-06-15 Ricoh Company, Ltd. Realogram scene analysis of images: superpixel scene analysis
US20170107055A1 (en) * 2015-10-15 2017-04-20 Jungheinrich Aktiengesellschaft Autonomous order picker
US20180057263A1 (en) * 2016-06-30 2018-03-01 Servus Intralogistics Gmbh Rail-bound transport robot for picking goods in a storage rack, and method for the operation therof
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
US20190054932A1 (en) * 2016-02-29 2019-02-21 Ocado Innovation Limited Robotic service device and handling method
CN109784793A (zh) * 2017-11-10 2019-05-21 菜鸟智能物流控股有限公司 仓储方法、装置、设备和机器可读介质
CN109782681A (zh) * 2017-11-10 2019-05-21 菜鸟智能物流控股有限公司 控制方法、装置、设备和机器可读介质
CN109775219A (zh) * 2019-03-11 2019-05-21 广东赛斐迩物流科技有限公司 一种巷道阻挡自动移库方法以及使用该方法的移库系统
US20190168392A1 (en) * 2017-12-01 2019-06-06 Starship Technologies Ou Storage system, use and method with robotic parcel retrieval and loading onto a delivery vehicle
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN110239870A (zh) * 2019-07-09 2019-09-17 苏州牧星智能科技有限公司 装卸货辅助装置、货物分拣系统及分拣方法
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
CN110482098A (zh) * 2019-07-18 2019-11-22 深圳市海柔创新科技有限公司 一种基于搬运机器人、系统的取放货方法
CN110589331A (zh) * 2019-09-20 2019-12-20 上海发那科机器人有限公司 一种分料机器人系统及处理方法
CN110949923A (zh) * 2019-12-04 2020-04-03 北京极智嘉科技有限公司 库存支架组、仓储系统、机器人控制方法和机器人

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
JP6339633B2 (ja) * 2016-06-28 2018-06-06 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
US10949797B2 (en) * 2016-07-01 2021-03-16 Invia Robotics, Inc. Inventory management robots
KR102385397B1 (ko) * 2017-11-14 2022-04-14 하이 로보틱스 씨오., 엘티디. 운반 로봇 및 운반 로봇에 기반한 픽업 방법
JP2019200697A (ja) * 2018-05-18 2019-11-21 東芝テック株式会社 棚管理システムおよびプログラム
CN109264275B (zh) * 2018-09-20 2020-08-28 深圳蓝胖子机器人有限公司 基于机器人的智能仓库管理方法、装置和存储介质
CN109214484B (zh) * 2018-09-20 2021-07-13 深圳蓝胖子机器智能有限公司 无人便利店控制方法、装置和计算机可读存储介质
NO345595B1 (en) * 2018-09-28 2021-05-03 Pickr As System and method for automated storage, picking, and packing of items
CN109592280A (zh) * 2019-01-21 2019-04-09 深圳市海柔创新科技有限公司 一种智能仓储系统、货物取放方法及其后台处理终端
CN110182527B (zh) * 2019-04-11 2021-03-23 上海快仓智能科技有限公司 用于货架阵列的出入库控制方法和搬运系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002068410A (ja) * 2000-08-31 2002-03-08 Matsushita Electric Ind Co Ltd 自動倉庫ロボットの自動ティーチング方法と自動ティーチング装置
CN103708161A (zh) * 2013-12-20 2014-04-09 东南大学 一种重力货架的并行布局系统及方法
EP3032460A1 (en) * 2014-12-10 2016-06-15 Ricoh Company, Ltd. Realogram scene analysis of images: superpixel scene analysis
US20170107055A1 (en) * 2015-10-15 2017-04-20 Jungheinrich Aktiengesellschaft Autonomous order picker
US20190054932A1 (en) * 2016-02-29 2019-02-21 Ocado Innovation Limited Robotic service device and handling method
US20180057263A1 (en) * 2016-06-30 2018-03-01 Servus Intralogistics Gmbh Rail-bound transport robot for picking goods in a storage rack, and method for the operation therof
CN109782681A (zh) * 2017-11-10 2019-05-21 菜鸟智能物流控股有限公司 控制方法、装置、设备和机器可读介质
CN109784793A (zh) * 2017-11-10 2019-05-21 菜鸟智能物流控股有限公司 仓储方法、装置、设备和机器可读介质
US20190168392A1 (en) * 2017-12-01 2019-06-06 Starship Technologies Ou Storage system, use and method with robotic parcel retrieval and loading onto a delivery vehicle
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN109775219A (zh) * 2019-03-11 2019-05-21 广东赛斐迩物流科技有限公司 一种巷道阻挡自动移库方法以及使用该方法的移库系统
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN110239870A (zh) * 2019-07-09 2019-09-17 苏州牧星智能科技有限公司 装卸货辅助装置、货物分拣系统及分拣方法
CN110482098A (zh) * 2019-07-18 2019-11-22 深圳市海柔创新科技有限公司 一种基于搬运机器人、系统的取放货方法
CN110472515A (zh) * 2019-07-23 2019-11-19 阿里巴巴集团控股有限公司 货架商品检测方法及系统
CN110589331A (zh) * 2019-09-20 2019-12-20 上海发那科机器人有限公司 一种分料机器人系统及处理方法
CN110949923A (zh) * 2019-12-04 2020-04-03 北京极智嘉科技有限公司 库存支架组、仓储系统、机器人控制方法和机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
CN115140486A (zh) * 2022-07-13 2022-10-04 深圳市海柔创新科技有限公司 料箱取出方法和入库方法、装置、设备及存储介质
CN115140486B (zh) * 2022-07-13 2023-09-05 深圳市海柔创新科技有限公司 料箱取出方法和入库方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2021249569A1 (zh) 2021-12-16
EP4155236A1 (en) 2023-03-29
JP2023529003A (ja) 2023-07-06
KR20230033649A (ko) 2023-03-08
EP4155236A4 (en) 2024-04-24
US20230111540A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
US20230106134A1 (en) Warehouse robot control method and apparatus, device, and readable storage medium
US20230111540A1 (en) Photographing method for picking or placing, photographing system, and transport robot
JP7206421B2 (ja) スマートフォークリフト及び容器位置姿勢ずれの検出方法
CN108089574B (zh) 用于提供仓库中的存放位的位置的方法和物料搬运车
TWI815221B (zh) 貨物取放方法、貨物取放裝置、倉儲機器人、倉儲系統和計算機可讀儲存媒體
EP3497672A1 (en) Pallet localization systems and methods
WO2022001610A1 (zh) 物料盘点方法、装置、仓储机器人和仓储系统
JP6722348B2 (ja) 一体型の障害物検出及びペイロードセンタリングセンサシステム
CN107229903B (zh) 机器人避障的方法、装置及存储装置
AU2021304124B2 (en) Goods extraction device, depth measurement method, warehouse robot, and warehouse system
US20240157549A1 (en) Robot control method, robot and storage medium
KR20230031826A (ko) 웨어하우스 로봇의 제어 방법, 장치, 로봇 및 웨어하우스 시스템
JP2023529878A (ja) コンテナの取り出し方法、装置、システム、ロボットおよび記憶媒体
CN112507820A (zh) 自动盘点货物的方法、装置、系统和电子设备
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
JP5674933B2 (ja) 倉庫内の物体の位置を特定するための方法及び装置
JP6870598B2 (ja) 自動倉庫用計算機
US20230145619A1 (en) Goods picking apparatus, depth measurement method, warehousing robot, and warehousing system
CN113002399A (zh) 货架搬运方法及其装置、机器可读介质和系统
EP4266142A1 (en) Robot and localization method
CN114612558A (zh) 一种基于单目相机检测的叉车托盘空间定位方法及系统
CN112686077A (zh) 一种自驱动机器人和障碍物识别的方法
CN115140486A (zh) 料箱取出方法和入库方法、装置、设备及存储介质
CN115330854A (zh) 货物管理系统和货物管理方法
CN117775568A (zh) 堆垛机的控制方法、装置及立体库自动化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination