CN112292237A - 货品验证的控制设备和方法 - Google Patents
货品验证的控制设备和方法 Download PDFInfo
- Publication number
- CN112292237A CN112292237A CN201980036228.7A CN201980036228A CN112292237A CN 112292237 A CN112292237 A CN 112292237A CN 201980036228 A CN201980036228 A CN 201980036228A CN 112292237 A CN112292237 A CN 112292237A
- Authority
- CN
- China
- Prior art keywords
- item
- goods
- information
- container
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012795 verification Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims description 19
- 238000013179 statistical model Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 239000012636 effector Substances 0.000 description 21
- 238000005259 measurement Methods 0.000 description 13
- 244000269722 Thea sinensis Species 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000009412 basement excavation Methods 0.000 description 3
- 235000008429 bread Nutrition 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 235000021573 pickled cucumbers Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229940023462 paste product Drugs 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000015113 tomato pastes and purées Nutrition 0.000 description 2
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008960 ketchup Nutrition 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/0464—Storage devices mechanical with access from above
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
- B65G1/1378—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on fixed commissioning areas remote from the storage areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
- B65G47/26—Devices influencing the relative position or the attitude of articles during transit by conveyors arranging the articles, e.g. varying spacing between individual articles
- B65G47/30—Devices influencing the relative position or the attitude of articles during transit by conveyors arranging the articles, e.g. varying spacing between individual articles during transit by a series of conveyors
- B65G47/32—Applications of transfer devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/34—Devices for discharging articles or materials from conveyor
- B65G47/46—Devices for discharging articles or materials from conveyor and distributing, e.g. automatically, to desired points
- B65G47/48—Devices for discharging articles or materials from conveyor and distributing, e.g. automatically, to desired points according to bodily destination marks on either articles or load-carriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/905—Control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
- B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0235—Containers
- B65G2201/025—Boxes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0235—Containers
- B65G2201/0258—Trays, totes or bins
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/042—Sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2811/00—Indexing codes relating to common features for more than one conveyor kind or type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2811/00—Indexing codes relating to common features for more than one conveyor kind or type
- B65G2811/06—Devices controlling the relative position of articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2811/00—Indexing codes relating to common features for more than one conveyor kind or type
- B65G2811/06—Devices controlling the relative position of articles
- B65G2811/0673—Control of conveying operations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39107—Pick up article, object, measure, test it during motion path, place it
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40499—Reinforcement learning algorithm
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45063—Pick and place manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fuzzy Systems (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Warehouses Or Storage Devices (AREA)
- Maintenance And Management Of Digital Transmission (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供了一种控制设备,它能更快、更有效地验证自动系统抓取了哪件货品,同时还提供可扩展的解决方案。通过测量货品的动力学特性来验证已经抓取了哪件货品。更具体地说,本发明提供了一种与自动系统一起运行的控制单元,自动系统包括传感器单元并设为从容器抓取货品。控制单元包括:验证单元,设为接收预期将出现在容器中货品的标识信息,从传感器单元接收提示自动系统抓取的货品的动力学特性的信息,基于接收的标识信息和接收的动力学特性信息验证自动系统抓取的货品与预期将出现在容器中的货品匹配。
Description
本申请要求2018年6月1日申请的第1809020.9号英国专利申请的优先权,该申请的全部内容借引用并入于此。
技术领域
本发明整体涉及自动系统领域,具体来说涉及控制自动系统的控制设备和方法。
技术背景
在拣选系统领域,自动系统一般用于从第一容器选择性地抓取货品,再将其运输到第二容器。例如,图1显示包括末端执行器201的自动系统200,末端执行器201例如为吸盘末端执行器。自动系统设为将货品从第一容器300移送到第二容器400,货品如立方体货品301、第一圆柱体货品302和/或第二圆柱体货品303。一般来说,拣选系统根据其他自动过程已知关于第一容器300所容之物的信息。但为了确保不因为关于第一容器300的缺陷信息而将错误货品移送到第二容器400中,拣选系统需要先验证已经拣选了哪件货品,再将其放入第二容器400。例如,如果立方体货品301被错误放入第一容器300,而第二容器400被要求只含圆柱体货品302和303,不含立方体货品301,那么拣选系统必须进行关于已经拣选了哪件货品的验证。
现有系统中,一般运用拍摄单元500验证已经拣选了哪件货品。一个示例中,拍摄单元500是设为读取放置在每件货品上的条形码的条形码读取器。用条形码确定的已经拣选的货品的身份,可以与第一容器300中货品的预期身份比较。或者,拍摄单元500可以是基于图片的对象分类器,设为基于对货品拍照并借此确定货品的计算机视觉技术,验证货品301、302或303。
但现有系统中,自动系统200在抓取货品、验证货品身份和允许将货品放入第二容器400期间有显著时间延迟。例如,自动系统可能需要将货品传送到条形码扫描器前方,而这可能需要自动系统在条形码扫描器前方暂停,以实现货品条形码的扫描。有时自动系统200遮盖了条形码,阻碍货品条形码的成功扫描和/或需要自动系统200花费额外时间将货品操控到更易扫描条形码的方向。类似地,自动系统200可能需要在对货品拍照时暂停,以对货品进行基于图像的对象分类。此外,现存基于图像的对象分类只能处理几千个货品类别,因而还不清楚这种图像分类是否能将规模扩大到处理可能大一个或多个数量级的工业产品范围。
因此,需要更快、更有效地验证自动系统抓取了哪件货品,同时还要提供可扩展的解决方案。
发明内容
鉴于已知拣选系统中的问题,本发明旨在提供一种可靠地验证自动系统所抓取货品的装置和方法。
整体来说,本发明通过测量货品的动力学特性来验证已经抓取的货品。此外,测量货品的动力学特性也能验证自动系统当前持有的货品数量。类似地,测量货品的动力学特性还能确定自动系统是否已经拣选了一整件货品,而不是一件货品的一部分。
本发明提供一种与自动系统一起运行的控制单元,自动系统包括传感器单元并设为从容器抓取货品。控制单元包括:验证单元,设为接收预期将出现在容器中货品的标识信息,从传感器单元接收提示自动系统抓取的货品的动力学特性的信息,基于接收的标识信息和接收的动力学特性信息验证自动系统抓取的货品与预期将出现在容器中的货品匹配。
本发明还提供一种系统,包括自动系统,自动系统包括传感器单元并设为用于抓取货品;以及如前所述的控制单元。
本发明还提供一种存储系统,存储系统包括在X方向延伸的第一组平行轨路或轨道和在Y方向延伸的第二组平行轨路或轨道,第二组平行轨路或轨道在大致的水平面上横切第一组,形成包括复数个网格空间的网格图案,复数个容器堆垛位于轨路下方,设为使得每个堆垛位于单个网格空间的覆盖区之内,存储系统还包括至少一个运输设备,至少一个运输设备设为在堆垛上方、在轨路上沿X和Y方向选择性地横向移动,并设为运输容器,存储系统还包括设为接收至少一个运输设备运输的容器的拣选站,存储系统还包括如前所述的系统,其中该系统设为从容器抓取货品。
本发明还提供了一种与自动系统一起使用的方法,自动系统包括传感器单元并设为从容器抓取货品。该方法包括以下步骤:接收预期将出现在容器中货品的标识信息,从传感器单元接收提示自动系统抓取的货品的动力学特性的信息,基于接收的标识信息和接收的动力学特性信息验证自动系统抓取的货品与预期将出现在容器中的货品匹配。
附图说明
现将参考附图描述本发明的实施方式,仅作示例,附图中类似的附图标记表示相同或对应的部分,附图中:
图1为根据已知系统的拣选系统示意图;
图2为根据本发明实施方式的控制设备的示意图;
图3为显示当自动系统拣选了第一货品和第二货品时传感器单元随时间变化检测到的力的图表,其中第一货品和第二货品不同;
图4为显示当自动系统拣选了第一货品和第二货品时传感器单元随时间变化检测到的转矩的图表,其中第一货品和第二货品不同;
图5为显示当自动系统拣选了第一货品和第二货品时传感器单元随时间变化检测到的力的图表,其中第一货品和第二货品类似;
图6为显示当自动系统拣选了第一货品和第二货品时传感器单元随时间变化检测到的转矩的图表,其中第一货品和第二货品相似;
图7a和7b为示意图,显示正在进行预设操作并同时抓取货品的自动系统;
图8为显示正在抓取损坏货品的自动系统的示意图;
图9为根据本发明第一实施方式的控制单元执行的过程流程图;
图10为根据已知系统的框架结构示意图;
图11是俯视示意图,显示布置在图10框架结构内的箱子堆垛;
图12(a)和12(b)是存放箱子的装载处理设备的示意性立体图,图12(c)是正在抬升箱子的装载处理设备的前向示意立体图;
图13为系统的系统示意图,显示在框架结构上运行的装载处理设备。
具体实施方式
第一实施方式
图2示出了根据本发明的第一实施方式,从容器300抓取货品的系统以及控制单元100。在该系统中,容器300设在最高层,设为存储至少一件货品。设置的自动系统200设为从容器300抓取货品,还设为记录关于自动系统200所抓取货品的信息。根据本发明第一实施方式的控制单元100设为接收自动系统200所记录的信息,还设为验证自动系统200所拣选货品的动力学特性与预期将出现在容器300中的货品要求的动力学特性相匹配。
更详细地,图示容器300含有三件货品,需要自动系统200将其中至少一件从容器300移出。在一个示例中,可预期容器300仅含有一种类型货品,其中自动系统200将一种类型货品中的至少一件从容器300移出。以这种方式,拣选系统知晓预期将出现在容器300中的货品类型。但容器300可包括与容器300中其他货品类型不同的其他货品。例如,其他类型货品可能被错误放入容器300,或容器300可设为含有多于一种类型的货品。应理解,容器300可含有任意件货品或根本不含货品。容器一般包括下表面,也就是底,用来支撑货品和例如防止货品掉落的壁。但应理解,为了安放货品,容器可以是任意尺寸或配置,例如包含三面壁、五面壁等。或者,容器300可以没有壁,因而仅包括底,在该配置中可将这个底称为托盘。
理想状态下,容器300所含货品位于壁的顶端以下,但第一实施方式可同样应用于其中的货品延伸高出壁顶端的容器。例如由于容器300中放置了大型货品或由于容器300中堆放了大量货品。图2所示的容器300包括三件货品,立方体货品301、第一圆柱体货品302和/或第二圆柱体货品303。应理解,货品形状任意,并不一定要是立方体或圆柱体。
此外,容器300可包括如条形码等的标识工具,用于在其他容器中唯一标识容器300。以这种方式,拣选系统可在其他容器中间识别容器300。例如,在包括复数个容器的仓库中,拣选系统可基于标识工具识别每个容器。这样一来,当货品被放入每个容器中时,拣选系统可记录放在每个容器中的货品。在自动系统200被允许对容器300执行拣选动作之前,拣选系统可被设为识别容器300,从而召回容器300计划含有的货品。控制单元100设为,至少基于每件货品的动力学特性,验证货品300-302是否属于容器300/应该从容器300移出。
自动系统200设为从容器300抓取货品。自动系统200特别包括了设为抓取货品的末端执行器201。在图2中,显示末端执行器是吸盘末端执行器201,其依赖真空抓取货品。但也可以使用吸盘末端执行器之外的其他末端执行器。例如,可使用平口钳末端执行器从容器300抓取货品。自动系统可借此从容器300抓取货品301-303。自动系统200还包括传感器单元202,其设为测量货品301-303的动力学特性。这方面,设想传感器单元202设为测量由货品相对传感器单元202的运动引起的任何特性,包括但不限于,货品向传感器单元202施加的压力、转矩和/或力,货品引起的相对于传感器单元202的加速度,货品所容之物移动的声音,和/或货品滑落时对传感器单元202施加的剪切力。
自动系统200还可设为将所抓取货品301-303从第一容器300移动至第二容器(未示出)。由此第一容器300可含有仓库库存系统中的货品,而第二容器可设为含有顾客已经从仓库库存系统订购的那些货品。因此自动系统200可设为从第一容器300选择性地抓取那些顾客已经订购的货品,然后将其放入第二容器,供运输至顾客。因此,自动系统将货品从第一容器300移送到第二容器。相应地,为了确定顾客订单的正确,抓取正确的货品很重要。
根据本发明第一实施方式的控制单元100从传感器单元202接收测量信息,测量信息提示货品301-303的动力学特性。控制单元100还设为接收标识预期将出现在容器300中的货品的信息。根据接收的信息,控制单元100设为,验证自动系统200拣选的货品301-303的动力学特性为预期将出现在容器中货品要求的动力学特性。设想动力学特性是货品的惯性特性、货品的阻尼特性和/或货品及其所含之物的声音中的至少一项。类似地,设想动力学特性包括运动引起的特性。例如,设想动力学特性包括例如自动系统200引起的剪切力特性,该自动系统200移动货品时,货品从末端执行器滑落,将该滑落用作末端执行器和货品之间摩擦的度量。例如,在末端执行器夹持货品时,末端执行器可主动用手指摩擦货品表面,或者使货品滑落。应理解,虽然涉及动力学特性,但可随时测量一个或多个动力学特性,借此提供适合其验证的货品信息。例如,可同时测量惯性特性和阻尼特性,提供货品验证所需的信息。
例如,拣选系统可能已经记录了容器300只含有第一圆柱体货品302,其中每件第一圆柱体货品302包括实心货品,如罐装番茄酱产品。但由于填装容器300时的错误(如由于有人把错误的货品放进了容器300),在第一圆柱体货品302中间可能还有第二圆柱体货品303,其中第二圆柱体货品303含有罐装酸黄瓜产品。相应地,仅仅基于货品形状,无法区分货品。传统技术速度缓慢,一般要求货品在条形码扫描器前方暂停。
与此相反,本发明第一实施方式依赖货品的动力学特性验证当前抓取的货品是预期货品。尤其,通过测量在移动货品时货品如何反应来进行货品验证。例如,当自动系统200将货品从第一容器300移送到第二容器(未示出)时,可在自动系统200移送该货品的同时进行货品验证。这样,由于自动系统200不需要在条形码扫描器前方暂停,实现了提速。而货品从第一容器300到第二容器的必要移动也用于验证货品的身份。本发明第一实施方式通过使自动系统200不再需要为拍摄单元的货品验证而暂停,提高了货品移送的效率。
在一个示例中,通过移动货品301-303,向货品301-303施加力/转矩,这导致货品加速。货品加速度对应货品301-303的动力学特性。在该示例中,罐装番茄酱产品的移动方式将与罐装酸黄瓜产品的移动方式不同,例如(同类)罐装番茄酱产品将展示出与罐装酸黄瓜产品(含有酸黄瓜形的较大固体)不同的动力学特性(如不同的晃动特征)。晃动将借此向传感器单元202施加力/转矩,而传感器单元202设为测量这种力/转矩。根据所测量的力/转矩,控制单元100设为,通过比较该货品的动力学特性和预期将出现在容器中货品的动力学特性,验证该货品。例如,可使用统计模型、使用机器学习进行比较,确定传感器单元202所测量的动力学和预期将出现在容器中货品的预期动力学之间的相似度。统计模型优选设为处理从传感器单元202获取的测量值中的噪音和漂移(如温度漂移)。例如,传感器单元202的输出可来源于货品位姿相对末端执行器的变化。此外,当使用不同传感器单元202时,统计模型可设为概括多个传感器单元202。或者,可针对特定的传感器单元202训练统计模型。
在上述示例中,公开的传感器单元202设为测量力和/或转矩。但设想了其它特性的测量,也就是由货品相对传感器单元202的运动引起的特性,包括但不限于,货品向传感器单元202施加的压力,货品引起的相对于传感器单元202的加速度,货品所容之物移动的声音,和/或货品滑落时对传感器单元202施加的剪切力。
尽管上述示例提到固体货品与液体货品的比较,设想可以比较任意类型的货品。例如,如果立方体货品301含有如面包的不同固体货品,那么该面包货品和第一圆柱体货品302的蛋糕货品的动力学特性将比第二圆柱体货品303的水货品的动力学特性更相似。但有了适当训练的统计模型,可以查明货品之间的差异,控制单元100也就能验证拣选的货品。此外,计数从一个容器移送到另一个容器的货品数量,这可用于确定已经为特定订单拣选了正确数目件货品。
图2所示系统可视需要进一步包括拍摄单元500。拍摄单元设为接收提示货品的信息。例如,拍摄单元500可包括条形码扫描器和/或计算机视觉成像器。可在训练控制单元100识别货品301-303时采用这种拍摄单元500。尤其,像在传统系统中一样,货品从第一容器300移动到第二容器的过程中,它的动力学特性被传感器单元202记录,传输至控制单元100。但起初控制单元100不知晓自动系统200抓取了哪件货品,因此也无法验证拣选的货品就是预期将出现在容器中的货品。因此将命令自动系统200以传统方式,通过条形码扫描器和/或计算机视觉成像器拍摄货品。 由此控制单元100可从拍摄单元500接收对货品身份的提示。因此,一旦已经采集了足够的训练信息,控制单元100将能够在货品随后被自动系统200抓取时成功验证该货品,无需自动系统200使货品经过拍摄单元500。
根据第一实施方式的控制单元100包括验证单元101。控制单元100可视需要包括训练单元102和/或命令单元103。
验证单元101设为从传感器单元202接收提示自动系统200所拣选货品的动力学特性的信息。此外,验证单元101设为接收预期将出现在容器300中的货品的标识信息。验证单元101还设为,验证自动系统200所拣选货品与预期将出现在容器300中的货品相同。该操作可通过使用统计模型进行,该统计模型设为发现预期将出现在容器中货品和自动系统200当前拣选的货品的动力学特性之间的相似度。
统计模型可设为将预期货品/货品类别的标识符以及所测量的动力学特性作为输入。统计模型可在自动系统200已经将货品运输到某一点之后,按批接收测量值;或可按流的形式接收测量值,在给出测量值时就处理该测量值。在第一种情况下,统计模型可设为给出所测量的动力学特性提示自动系统200已经拣选了预期货品的概率,作为输出。在第二种情况下,统计模型可设为给出一串此类概率作为输出,例如进来一个测量值就给出一个概率。在第一种情况下,输出概率可与预设阈值比较,借此确定自动系统200是否已经拣选了预期货品。在第二种情况下,可评估概率流,确定自动系统200是否已经拣选了预期货品。
对于任意给定的预期货品/类别标识符,统计模型可采取标准机器学习模型的形式,如人工神经网络或高斯(Gaussian)过程分类器。统计模型可视需要包括关于加速物品的动力学的在先信息,如加速不变的动力学特性。
由此控制单元100设为从自动系统200接收动力学特性信息,验证自动系统200正在抓取的货品或货品类别。尤其,验证对自动系统200的位置和自动系统200从第一容器到第二容器采用的路线的微小变动是不变的。
控制单元100可视需要进一步包括训练单元102。训练单元102设为,当验证单元101无法验证正在抓取的货品时,基于所测量的传感器信息和货品标识符,训练统计模型。更具体地说,训练单元102设为接收提示自动系统200正在抓取的货品的动力学特性的信息。此外,训练单元102还设为接收货品标识符。例如,可从拍摄单元500接收条形码或基于图像的对象分类形式的货品标识符。基于所接收的信息,训练单元102设为重新训练统计模型。这样一来,当在未来时间抓取相同货品/货品类别时,验证单元101将能够基于训练单元102训练的信息正确验证货品。例如,训练单元102可设为通过使用接收的货品标识符和提示货品的动力学特性的信息,重新训练统计模型,来更新统计模型。以这种方式将自动系统200将抓取的新货品引入统计模型,使得当自动系统200在未来时间拣选该货品时,验证单元102将验证该货品。
训练的统计模型可包括其他信息,增加其准确度。例如,货品的标称重量、尺寸等。这样一来,就可以找出发现统计模型的类型,其中一个类别中的每个统计模型都由标定参数定义。这有利地降低了所需的存储空间量,也降低了所需的训练数据量。
或者,验证单元101可设为仅检测货品类别,如所有盒装茶叶为一种类别,所有瓶装饮料为另一种类别。因此,训练单元102不针对特定库存计量单位“SKU”(例如,特定品牌特定大小的盒装茶叶)训练统计模型,而是针对SKU类别训练统计模型。这样就不必再为每个SKU捕获训练信息。相反,某些SKU的大小和规定重量可用于将SKU自动分类至特定SKU类别中,该SKU将适用与同一类别中其他SKU相同的关联测量传感器信息。在这方面,设想将需要在SKU的标称重量/大小和关联动力学特性之间建立起关系。SKU可人工聚集到各类型中,在这种情况下,检查一个类别中的少量SKU就足以确定该关系的性质。或者,SKU可以自动聚集,这可能需要针对每个SKU捕获训练信息,或者需要在每个类别中使用需要较少训练信息的更简单统计模型。包括力传感工具/转矩传感工具(如设为测量力和/或转矩的传感器单元202)的自动系统200可用于自动确定SKU的标称重量。尤其,自动系统200可通过在自动系统200已经抓取和抬升了货品但未移动时,测量由于引力场而施加到末端执行器的力,静态确定SKU的重量。已知自动系统200所在位置的引力场强度,从而允许计算货品的重量。
虽然术语“货品”(item)用来指货品类型(例如,特定品牌特定大小的盒装茶叶,其将具有唯一的库存计量单位SKU码)以及具体货品(例如,已经拣选的具体盒装茶叶)。但设想“货品”也可有更广泛的使用。例如,尽管两件货品可能有相同的SKU码,即涉及相同品牌和大小的盒装茶叶,但由于制造差异和/或盒子所容之物的分布,它们在重量和/或动力学特性上可能存在轻微差异。为此,上述验证方法可在确定验证时考虑这些因素。例如,可使用平均重量或重量下界。
控制单元100还可视需要包括命令单元103。命令单元103设为命令自动系统200按预设方式移动。例如,命令单元103可设为命令自动系统200在验证单元101验证货品之前按预设方式移动。这样一来,自动系统200的某一移动规律将用于突出给定货品的测量动力学特性的区分特征。附加地或可供替代地,命令单元103设为命令自动系统200在验证单元101验证货品失败之后按预设方式移动。例如,如果第一预设移动方式识别货品失败,那么与之不同的第二预设移动方式使验证单元101能够验证货品,已经在统计模型中为第二预设移动方式训练了对应的动力学特性信息。因此,无需使用拍摄单元500,就可实现货品的更精确验证。
图3为图示由传感器单元202测量的时间与力的关系图。图表显示了针对第一货品和第二货品的测量力,其中第一货品和第二货品不同。例如,第一货品可能是面包货品,而第二货品可能是饮品货品。在自动系统200进行预设移动时进行力测量。每件货品的标绘线基本不同,因此为每件货品/货品类别指示相对独立的力与时间特征。
类似地,图4为图示传感器单元202测量的时间与转矩的关系图。在图4中,针对两件不同货品进行了转矩测量。与图3一样,标绘线基本不同,提示每件货品具有不同转矩特征。在图3和图4中,力和转矩都绕一根轴测量。但也可以绕附加轴测量力和/或转矩,基于绕至少一条轴的力和/或转矩测量值来为每个货品/货品类别生成更独立的特征。
图5为图示针对两件相似货品的时间与力的关系图。如图5所示,第一和第二货品的测量力的标绘线基本上相似。因此包括针对第一货品的力与时间绘图的信息的控制单元100将能够根据针对第二货品的力与时间的绘图确定第一和第二货品为相同类型货品/相同类别货品。
类似地,图6为图示针对两件相似货品的时间与转矩的关系图。与图5一样,两条转矩测量值标绘线基本上相似,因此提示每个货品/货品类别具有可与其关联的特征。
如前所述,可选的命令单元103可设为命令自动系统200执行预设操作。一个示例中,为了采集关于货品的动力学特性的信息,可命令自动系统200在末端执行器201从第一容器移动至第二容器的同时旋转末端执行器201。这样一来,无需花费更多时间到达第二容器,就能在简单的轨迹之外采集附加的动力学信息。
图7a显示了预设操作的示例,这一操作可由自动系统200进行,将末端执行器201抓取的货品301移动到第二容器400(也就是终点容器)。在该示例中,自动系统200可能已经从第一容器(未示出)抓取了货品301,供运输到第二容器400。有了根据第一实施方式的控制单元100,自动系统200不必在一个位置暂停来进行条形码扫描流程,这是一点优势。相反,自动系统200能中间不做停止就将货品301运输到第二容器400。尽管设想了从第一容器到第二容器400的简单弧形运动(包括末端执行器的向上运动,末端执行器的横向平移和向下运动),但也可采用其他的替代选择。例如,弧形运动提供的测量传感器信息可能不足以使验证单元101准确验证货品/货品类别。相应地就设想了其他预设移动。图7a显示了可以在验证单元101验证货品/货品类别之前进行的移动。在该示例中,沿不同的轴进行了多次加速和减速,提供测量更多传感器信息的可能性,以协助货品识别。但在图7a中显示的预设操作中,到达第二容器400的路线稍微更长一些。
图7b显示了可以由命令单元103命令的另一个预设操作。例如,可在已经进行了图7a的操作(因此货品301在第二容器400上方)但验证单元101无法识别货品/货品类别之后,命令图7b的操作。与依赖拍摄单元500相反,设想进行另一个操作,采集具有更多加速/减速的更多传感器信息。因此,图7b中的操作包括的移动比图7a中多,同时货品301的开始位置和结束位置是相同的。这样一来,在进行了图7b的操作且验证单元101已经成功验证货品/货品类别之后,自动系统200可将货品301放入第二容器400。但该操作可能花费过多时间,因此在一些情况下,利用拍摄单元500检测货品身份可能更快。
图8显示了根据本发明的第一实施方式的控制单元100的另一种应用。尤其,验证单元101可设为检测损坏/不完整的货品。例如,自动系统200可抓取货品303。但如图8所示,货品303可能被损坏了,分成了第一部分303a和第二部分303b。因为传感器单元202测量到的动力学特性与预期将出现在容器300中货品的动力学特性不同,所以控制单元100可检测到损坏。因此,自动系统200还可设为将货品303放在一个位置,以丢弃或以其他方式修理货品303。类似地,如果货品不完整,例如第二部分303b从第一部分303a完全分离,那么控制单元100还可能够检测到货品不完整。与损坏货品相似,验证单元101可设为基于来自传感器单元202的信息检测到货品的动力学特性已经变化,且该变化提示货品不完整。
此外,控制单元100可设为识别末端执行器200所抓取的货品是否包括复数件货品。例如,正在拣选的货品可能附着了附加的货品。相应地,当自动系统200拣选第一货品时,附着在第一货品上的第二货品将随着自动系统200将第一货品从第一容器移动到第二容器而与第一货品一起移动。第二货品的附加改变了第一货品的动力学特性,而这种改变是控制单元100能检测到的。
此外,控制单元100可设为计数从一个容器移送到另一个容器的货品数量。这样一来,可比较移送货品数量和预期将放入特定顾客订单中的货品数量。因此,控制单元100可设为使自动系统继续拣选货品,直到达到将放入顾客订单中的预期数量。在这时,控制单元100可设为使自动系统停止拣选更多货品。
图9显示了根据第一实施方式,使用从自动系统200的传感器单元202接收的动力学特性识别货品的过程。
参考图9,在步骤S901,接收关于货品标识符(如条形码、产品名称等)的信息。例如,可从设为管理仓库内的容器及其所容之物的拣选系统接收货品标识符。拣选系统可知晓容器及其预期的所容之物。容器中货品的身份证明可由此传输到步骤S901。
在步骤S902,方法从传感器单元202接收提示货品的动力学特性的信息。在这方面,设想传感器单元202被设为测量由货品相对传感器单元202的运动引起的任何特性,包括但不限于,货品向传感器单元202施加的压力、转矩和/或力,货品引起的相对于传感器单元202的加速度,货品所容之物移动的声音,和/或货品滑落时对传感器单元202施加的剪切力。
在步骤S903,基于所接收的动力学特性和在步骤S901和S902接收的信息,验证所拣选的货品/货品类别。换言之,比较在步骤S902接收的信息和预期将出现在容器中货品/货品类别的动力学特性的统计模型。当所接收信息与统计模型预期值匹配时,步骤S903将所拣选货品验证为预期将出现在容器中的货品。尽管这可应用于单个货品,但其也可同样应用于货品类别,如盒装茶叶为一种类别、瓶装饮料为另一种类别。
以这种方式进行货品验证所需的时间比传统技术更短。
修改和变更
在不脱离本发明范围的前提下,可对上述实施方式进行众多修改和变更。
销售多条产品线的线上零售业务,如线上杂货店和超市,需要能够存储数十个甚至数百数千条不同产品线的系统。在这种情况下使用单产品堆垛不切实际,这是因为容纳所有所需堆垛将需要非常大的占地面积。另外,对于某些货品,可能只希望少量存储,如易腐烂商品或不常订购的商品,从而使单产品堆垛成为低效的解决方案。
国际专利申请WO 98/049075A(Autostore)描述了一个容器的多产品堆垛布置在框架结构内的系统,该申请借引用合并于此。
PCT公开 WO2015/185628A(Ocado)描述了另一种已知的存储和订单履行系统,其中箱子或容器的堆垛布置在框架结构内。正在位于框架结构之上的轨道上运行的装载处理设备获取箱子或容器。装载处理设备将箱子或容器从堆垛抬升,多个装载处理设备协同运行来获取位于堆垛最低位置的箱子或容器。 此类系统在附图图10至图13中给出了图示。
如图10和图11所示,可堆叠的容器,也称箱10,相互堆叠组成堆垛12。堆垛12在仓库或制造环境中以网格框架结构14布置。图10为框架结构14的示意性立体图。图11为俯视图,显示布置在框架结构14内的箱10的堆垛12。每一箱10一般安放复数个产品货品(未示出),箱10内的产品货品可能是相同的,或可能有不同产品类型,依应用而定。
框架结构14包括支撑水平构件18、20的复数个直立构件16。第一组平行水平构件18设为与第二组平行水平构件20垂直,以形成直立构件16支撑的复数个水平网格结构。 构件16、18、20一般由金属制成。箱10堆叠在框架结构14的构件16、18、20之间,使得框架结构14防止箱10的堆垛12进行水平移动,并引导箱10的垂直移动。
框架结构14的顶层包括轨路22,轨路22设于遍及堆叠12顶部的网格图案。另外参考图12和图13,轨路22支撑复数个自动装载处理设备30。第一组22a平行轨路22引导装载处理设备30沿第一方向(X)在框架结构14顶部上的移动,与第一组22a垂直设置的第二组22b平行轨路22引导装载处理设备30在第二方向(Y)的移动,第二方向(Y)垂直于第一方向(X)。以这种方式,轨路22实现了装载处理设备30在水平X-Y平面上的二维横向移动,使得装载处理设备30能够移动到任意堆垛12上方的位置。
挪威专利第317366号中进一步描述了一种形式的装载处理设备30,该专利的内容借引用合并于此。图12(a)和图12(b)是存放箱10的装载处理设备30的示意截面图,图12(c)是抬升箱10的装载处理设备30的前向示意立体图。 然而,还有可与本发明所述系统组合使用的其它形式的装载处理设备。例如PCT专利公开WO2015/019055(Ocado)中描述了自动装载处理设备的另一种形式,其中每一自动装载处理器仅覆盖框架结构的一个网格空间,这使得装载处理器的密度能够更高,从而使给定尺寸的系统能具有更高的工作量,该专利公开借引用并入本发明。
每一装载处理设备30包括车辆32,其设为在堆叠12之上、在框架结构14的轨路22上沿X和Y方向行进。第一组轮子34由车辆32前面的一对轮子34和车辆32后面的一对轮子34组成,第一组轮子34设为与第一组22a轨路22的两条相邻轨路接合。 相似地,第二组轮子36由在车辆32两侧的两对轮子36组成,第二组轮子36设为与第二组22b轨路22的两条相邻轨路接合。每组轮子34、36可以抬升或下降,使得第一组轮子34或第二组轮子36随时与各自的轨路22a、22b组接合。
第一组轮子34与第一组轨路22a接合以及第二组轮子36从轨路22抬起时,能够通过安置在车辆32内的驱动机构(未示出)驱动轮子34,来沿X方向移动装载处理设备30。为了沿Y方向移动装载处理设备30,将第一组轮子34从轨路22抬起,将第二组轮子36下降以与第二组轨路22a接合。然后能够使用驱动机构驱动第二组轮子36,以实现Y方向上的移动。
装载处理设备30配备有抬升设备。抬升设备40包括通过四根缆绳38从装载处理设备32的主体悬挂的夹持板39。缆绳38连接到安置在车辆32内的缠绕机构(未示出)。缆绳38能从装载处理设备32收绳或放绳,使得能够在Z方向调整夹持板39相对车辆32的位置。
夹持板39适应为与箱10的顶部接合。例如,夹持板39可包括与构成箱10上表面的边沿中的相应孔(未显示)配合的销(未显示),以及可与边沿接合以夹持箱10的滑动夹钳(未显示)。通过安置在夹持板39内的适当驱动机构驱动夹钳,以使其与箱10接合,驱动机构由通过缆绳38本身或通过单独的控制缆绳(未示出)传输的信号供能和控制。
为了从堆垛12的顶部移出箱10,如有必要,在X和Y方向上移动装载处理设备30,以便使夹持板39位于堆垛12的上方。如图3(c)所示,然后在Z方向垂直降低夹持板39,以便与堆垛12顶部的箱10接合。夹持板39夹持箱10,然后在夹持板39附接有箱10的情况下,在缆绳38上将其向上拉动。在其垂直行程的顶部,箱10容纳在车辆主体32内,并安放在轨路22的高位上方。以这种方式,能够将装载处理设备30移动至X-Y平面中的不同位置,装载处理设备30在移动中携带箱10,以将箱10运输到另一位置。缆绳38的长度足够让装载处理设备30从堆垛12的任何高位(包括地面位)取回箱,以及将箱放置在堆垛12的任何高位(包括地面位)。车辆32的重量可由用于为轮子34、36的驱动机构供能的电池部分组成。
如图13所示,设置了复数个相同的装载处理设备30,以使各个装载处理设备30可同时运行,提高系统的工作量。图13所示系统可包括又称端口的特定位置,能够在这些位置将箱10移进或移出系统。附加传送机系统(未示出)与每一端口关联,使得能够通过传送机系统将装载处理设备30运输到端口的箱10移送到例如拣选站(未示出)的另一位置。类似地,传送机系统能将箱10从例如箱填装站(未示出)的外部位置移动至端口,并通过装载处理设备30运输至堆垛12,以补充系统库存。
设想拣选站为工作站。在工作站中,货品从一个容器移出,并设为被放入其他容器或袋子,供运输至顾客。因此,需要确保从容器移出的货品被准确识别,顾客才能只收到订购的货品。可通过例如条形码在容器进入拣选站时识别容器。因此,装载处理系统可在拣选站入口处识别容器的预期所容之物。
拣选站可包括根据本发明第一实施方式的自动系统200和控制单元100。这样一来,由于大大减少了拍摄单元500的使用,货品拣选与传统方法相比更快。相反,将所拣选货品从第一容器移动至第二容器/袋子的动作足以验证所拣选货品与预期将出现在容器中的货品匹配,因而缩减了拣选时间。
每个装载处理设备30一次能够抬升和移动一个箱10。如果需要取回不在堆垛12顶部的箱10b(“目标箱”),则必须首先移动覆盖在上的箱10a(“非目标箱”),以使获取目标箱10b成为可能。这在下文称为“挖掘”的运行中实现。
参照图13,在挖掘运行中,装载处理设备30之一按顺序从含有目标箱10b的堆垛12抬升非目标箱10a,并将其放在另一堆垛12内的空位上。然后目标箱10b能够被装载处理设备30获取,并被移动至端口,供进一步运输。
每个装载处理设备30都受中央计算机控制。追踪系统中的每一单个箱10,以便能够在需要时取回、运输和替换适当的箱10。例如,在挖掘运行中,记录每一非目标箱10a的位置,以便能够追踪非目标箱10a。
参照图10至图13描述的系统具有众多优势,适用于范围广泛的存储和取回操作。尤其,它实现了非常密集的产品存储,并提供了一种非常经济的方式,可以将大量不同货品存储在箱10中,同时在需要拣选时能够以合理的经济成本获取所有箱10。
但该类系统仍存在不足,这都是由上文所述的挖掘运行造成的。目标箱10b不在堆垛12顶部时,必须执行挖掘运行。
已经以解释和描述为目的呈现了本发明实施方式的前述说明。前述说明并不旨在详尽无遗,或将本发明局限于公开的精确形式。在不脱离本发明的精神和范围的前提下,可进行修改和变更。
Claims (15)
1.一种与自动系统一起运行的控制单元,所述自动系统包括传感器单元并设为从容器抓取货品,所述控制单元包括:
验证单元,设为接收预期将出现在所述容器中货品的标识信息,从所述传感器单元接收提示所述自动系统抓取的货品的动力学特性的信息,基于接收的标识信息和接收的动力学特性信息验证所述自动系统抓取的所述货品与预期将出现在所述容器中的所述货品匹配。
2.根据权利要求1所述的控制单元,所述控制单元还包括:
训练单元,设为当所述验证单元确定所述货品不相匹配时,从拍摄单元接收所述货品的标识信息和提示所述货品的动力学特性的信息,并基于所述货品的所述标识信息和提示所述货品的动力学特性的所述信息训练统计模型。
3.根据任意一项前述权利要求所述的控制单元,所述控制单元还包括:
命令单元,设为命令所述自动系统按预设方式移动。
4.根据权利要求3所述的控制单元,其特征在于,所述命令单元设为在所述验证单元进行所述货品的验证之前命令所述自动系统。
5.根据权利要求3或权利要求4所述的控制单元,其特征在于,所述命令单元设为当所述验证单元未能验证所述货品时命令所述自动系统。
6.根据任意一项前述权利要求所述的控制单元,其特征在于,提示所述货品的动力学特性的所述信息包括下列各项中至少一项:力信息、转矩信息、剪切力信息、加速度信息、声音信息和压力信息。
7.根据任意一项前述权利要求所述的控制单元,其特征在于,所述验证单元进一步设为基于所述货品的所述动力学特性,识别所述货品是否被损坏、不完整和/或包括复数件货品。
8.一种系统,包括:
自动系统,包括传感器单元并设为用于抓取货品;以及
根据任意一项前述权利要求所述的控制单元。
9.根据权利要求8所述的系统,所述系统还包括设为接收所述货品的标识信息的拍摄单元。
10.根据权利要求8或权利要求9所述的系统,所述传感器单元包括以下各项中至少一项:力传感器、转矩传感器、剪切力传感器、加速度传感器、麦克风和压力传感器。
11.一种存储系统,包括:
在X方向延伸的第一组平行轨路或轨道和在Y方向延伸的第二组平行轨路或轨道,所述第二组平行轨路或轨道在大致水平的面上横切所述第一组平行轨路或轨道,形成包括复数个网格空间的网格图案;
位于所述轨路下方的复数个容器堆垛,布置为使得每个堆垛位于单个网格空间的覆盖区之内;
至少一个运输设备,所述至少一个运输设备设为在所述堆垛上方、在所述轨路上沿所述X方向和Y方向选择性地横向移动,并设为用于运输容器;
拣选站,设为接收所述至少一个运输设备运输的容器;以及
根据权利要求8至权利要求10中任意一项的系统,其中所述系统设为从容器抓取货品。
12.根据权利要求11所述的存储系统,其中所述至少一个运输设备具有仅占据所述存储系统中的单个网格空间的覆盖区,使得占据一个网格空间的运输设备不阻碍占据或横穿所述X和Y方向上的相邻网格空间的运输设备。
13.一种与自动系统一起使用的方法,所述自动系统包括传感器单元并设为从容器抓取货品,所述方法包括以下步骤:
接收预期将出现在所述容器中的货品的标识信息;
从所述传感器单元接收提示所述自动系统抓取的货品的动力学特性的信息;以及
基于接收的标识信息和接收的动力学特性信息,验证所述自动系统抓取的所述货品与预期将出现在所述容器中的所述货品匹配。
14.根据权利要求13所述的方法,所述方法还包括以下步骤:
当所述验证步骤确定所述货品不相匹配时,接收所述货品的标识信息和提示所述货品的所述动力学特性的信息;
基于所述货品的所述标识信息和提示所述货品的所述动力学特性的所述信息,训练统计模型。
15.根据权利要求13或权利要求14所述的方法,所述方法还包括以下步骤:
命令所述自动系统按预设方式移动。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1809020.9A GB201809020D0 (en) | 2018-06-01 | 2018-06-01 | Control device and method for item verification |
GB1809020.9 | 2018-06-01 | ||
PCT/EP2019/064087 WO2019229181A1 (en) | 2018-06-01 | 2019-05-29 | Control device and method for item verification |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112292237A true CN112292237A (zh) | 2021-01-29 |
Family
ID=62872707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980036228.7A Pending CN112292237A (zh) | 2018-06-01 | 2019-05-29 | 货品验证的控制设备和方法 |
Country Status (13)
Country | Link |
---|---|
US (2) | US11891247B2 (zh) |
EP (2) | EP4249185A3 (zh) |
JP (2) | JP7167188B2 (zh) |
KR (2) | KR102552216B1 (zh) |
CN (1) | CN112292237A (zh) |
AU (2) | AU2019276201B2 (zh) |
CA (1) | CA3095706C (zh) |
DK (1) | DK3802014T3 (zh) |
ES (1) | ES2967512T3 (zh) |
GB (2) | GB201809020D0 (zh) |
HU (1) | HUE064494T2 (zh) |
PL (1) | PL3802014T3 (zh) |
WO (1) | WO2019229181A1 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11205059B2 (en) | 2017-04-18 | 2021-12-21 | Berkshire Grey, Inc. | Systems and methods for separating objects using conveyor transfer with one or more object processing systems |
US11416695B2 (en) | 2017-04-18 | 2022-08-16 | Berkshire Grey Operating Company, Inc. | Systems and methods for distributing induction of objects to a plurality of object processing systems |
NO345129B1 (en) * | 2017-11-23 | 2020-10-12 | Autostore Tech As | Automated storage and retrieval system and a method of operating the same. |
US10696494B1 (en) * | 2019-05-31 | 2020-06-30 | Mujin, Inc. | Robotic system for processing packages arriving out of sequence |
US10647528B1 (en) | 2019-05-31 | 2020-05-12 | Mujin, Inc. | Robotic system for palletizing packages using real-time placement simulation |
US10696493B1 (en) | 2019-05-31 | 2020-06-30 | Mujin, Inc. | Robotic system with packing mechanism |
NO345921B1 (en) * | 2020-01-31 | 2021-10-25 | Autostore Tech As | System and method for performing measurements in storage containers |
US11597092B1 (en) | 2020-03-26 | 2023-03-07 | Amazon Technologies, Ine. | End-of-arm tool with a load cell |
US11534924B1 (en) * | 2020-07-21 | 2022-12-27 | Amazon Technologies, Inc. | Systems and methods for generating models for automated handling of vehicles |
US11534915B1 (en) | 2020-08-05 | 2022-12-27 | Amazon Technologies, Inc. | Determining vehicle integrity based on observed behavior during predetermined manipulations |
EP4035845A1 (de) * | 2021-01-28 | 2022-08-03 | Siemens Aktiengesellschaft | Handhaben von stückgütern mittels einer sauggreifvorrichtung |
WO2022265931A1 (en) * | 2021-06-16 | 2022-12-22 | Dexterity, Inc. | Simulated box placement for algorithm evaluation and refinement |
JP2024532865A (ja) * | 2021-08-20 | 2024-09-10 | オカド・イノベーション・リミテッド | 保管システムにおける荷役デバイスの運動学的状態の決定 |
JP7364770B1 (ja) | 2022-12-27 | 2023-10-18 | 旭化成エレクトロニクス株式会社 | 認証装置、認証方法、及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110166696A1 (en) * | 2008-09-30 | 2011-07-07 | Arbor S.A. | Method of treating objects according to their individual weights |
US20150032252A1 (en) * | 2013-07-25 | 2015-01-29 | IAM Robotics, LLC | System and method for piece-picking or put-away with a mobile manipulation robot |
CN105228712A (zh) * | 2013-05-31 | 2016-01-06 | 安凯公司 | 用于操纵、移动和/或重定向组件的移动代理 |
CN106414278A (zh) * | 2013-08-09 | 2017-02-15 | 奥卡多创新有限公司 | 从存储系统中取回部件的装置 |
WO2018022264A1 (en) * | 2016-07-28 | 2018-02-01 | X Development Llc | Collaborative inventory monitoring |
CN107756422A (zh) * | 2016-08-17 | 2018-03-06 | 株式会社安川电机 | 拾取系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5472309A (en) * | 1985-05-13 | 1995-12-05 | Computer Aided Systems, Inc. | System for delivery |
NO972004D0 (no) | 1997-04-30 | 1997-04-30 | Hatteland Electronic As Jacob | Metode for organisering av vareflyt for en horisontalt lagdelt og dypstablet lagerbeholdning med uensartede komponenter, samt forflytningsutstyr for standariserte beholdere til formålet |
NO317366B1 (no) | 1999-07-01 | 2004-10-18 | Autostore As | Lagringsanlegg med fjernstyrte vogner med to hjulsett og heisinnretning for drift på skinner anlagt i kryss over kolonner av lagringsenheter som er adskilt med vertikale profilstolper |
US8862269B2 (en) * | 2008-08-29 | 2014-10-14 | Abb Research Ltd. | Robotic picking of parts from a bin |
US8843236B2 (en) * | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
PL400280A1 (pl) * | 2012-08-07 | 2014-02-17 | Nutrifarm Spólka Z Ograniczona Odpowiedzialnoscia | Automatyczny system do magazynowania i kompletacji, zwlaszcza farmaceutyków i/lub suplementów zywosci |
US9740181B2 (en) * | 2012-11-08 | 2017-08-22 | Honeywell International Inc. | Identifying models of dynamic systems using regression model for parameters and error rates |
GB201409883D0 (en) | 2014-06-03 | 2014-07-16 | Ocado Ltd | Methods, systems, and apparatus for controlling movement of transporting devices |
GB2527543A (en) * | 2014-06-25 | 2015-12-30 | Ocado Innovation Ltd | System and method for managing shipping containers |
JP6480224B2 (ja) | 2015-03-19 | 2019-03-06 | 株式会社イシダ | 質量測定装置 |
WO2017096145A1 (en) * | 2015-12-04 | 2017-06-08 | Berkshire Grey Inc. | Systems and methods for dynamic processing of objects |
WO2017139330A1 (en) * | 2016-02-08 | 2017-08-17 | Berkshire Grey Inc. | Systems and methods for providing processing of a variety of objects employing motion planning |
US9687983B1 (en) * | 2016-05-11 | 2017-06-27 | X Development Llc | Generating a grasp pose for grasping of an object by a grasping end effector of a robot |
US10138062B2 (en) * | 2016-05-23 | 2018-11-27 | Walmart Apollo, Llc | Order fulfillment system with robotic break pack |
WO2018146687A1 (en) * | 2017-02-12 | 2018-08-16 | Commonsense Robotics Ltd. | Human-assisted robotic picking apparatus |
-
2018
- 2018-06-01 GB GBGB1809020.9A patent/GB201809020D0/en not_active Ceased
-
2019
- 2019-05-29 CA CA3095706A patent/CA3095706C/en active Active
- 2019-05-29 AU AU2019276201A patent/AU2019276201B2/en active Active
- 2019-05-29 US US15/734,121 patent/US11891247B2/en active Active
- 2019-05-29 ES ES19727406T patent/ES2967512T3/es active Active
- 2019-05-29 HU HUE19727406A patent/HUE064494T2/hu unknown
- 2019-05-29 CN CN201980036228.7A patent/CN112292237A/zh active Pending
- 2019-05-29 PL PL19727406.1T patent/PL3802014T3/pl unknown
- 2019-05-29 DK DK19727406.1T patent/DK3802014T3/da active
- 2019-05-29 EP EP23191757.6A patent/EP4249185A3/en active Pending
- 2019-05-29 KR KR1020237002329A patent/KR102552216B1/ko active IP Right Grant
- 2019-05-29 JP JP2020565443A patent/JP7167188B2/ja active Active
- 2019-05-29 KR KR1020207033505A patent/KR102492117B1/ko active IP Right Grant
- 2019-05-29 GB GB1907596.9A patent/GB2575723B/en active Active
- 2019-05-29 WO PCT/EP2019/064087 patent/WO2019229181A1/en unknown
- 2019-05-29 EP EP19727406.1A patent/EP3802014B1/en active Active
-
2022
- 2022-05-27 AU AU2022203603A patent/AU2022203603B2/en active Active
- 2022-10-26 JP JP2022171462A patent/JP7476278B2/ja active Active
-
2023
- 2023-12-27 US US18/396,837 patent/US20240124233A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110166696A1 (en) * | 2008-09-30 | 2011-07-07 | Arbor S.A. | Method of treating objects according to their individual weights |
CN105228712A (zh) * | 2013-05-31 | 2016-01-06 | 安凯公司 | 用于操纵、移动和/或重定向组件的移动代理 |
US20150032252A1 (en) * | 2013-07-25 | 2015-01-29 | IAM Robotics, LLC | System and method for piece-picking or put-away with a mobile manipulation robot |
CN106414278A (zh) * | 2013-08-09 | 2017-02-15 | 奥卡多创新有限公司 | 从存储系统中取回部件的装置 |
WO2018022264A1 (en) * | 2016-07-28 | 2018-02-01 | X Development Llc | Collaborative inventory monitoring |
CN107756422A (zh) * | 2016-08-17 | 2018-03-06 | 株式会社安川电机 | 拾取系统 |
Also Published As
Publication number | Publication date |
---|---|
GB201809020D0 (en) | 2018-07-18 |
GB2575723A (en) | 2020-01-22 |
AU2022203603B2 (en) | 2023-11-23 |
EP4249185A3 (en) | 2024-01-10 |
US20210214163A1 (en) | 2021-07-15 |
GB2575723B (en) | 2021-01-13 |
KR20200144143A (ko) | 2020-12-28 |
AU2019276201B2 (en) | 2022-03-24 |
CA3095706C (en) | 2024-02-06 |
KR102552216B1 (ko) | 2023-07-05 |
GB201907596D0 (en) | 2019-07-10 |
EP3802014A1 (en) | 2021-04-14 |
JP7167188B2 (ja) | 2022-11-08 |
PL3802014T3 (pl) | 2024-03-11 |
HUE064494T2 (hu) | 2024-03-28 |
KR102492117B1 (ko) | 2023-01-27 |
AU2019276201A1 (en) | 2020-12-03 |
KR20230017917A (ko) | 2023-02-06 |
WO2019229181A1 (en) | 2019-12-05 |
US20240124233A1 (en) | 2024-04-18 |
JP7476278B2 (ja) | 2024-04-30 |
JP2021524812A (ja) | 2021-09-16 |
US11891247B2 (en) | 2024-02-06 |
AU2022203603A1 (en) | 2022-06-16 |
ES2967512T3 (es) | 2024-04-30 |
EP4249185A2 (en) | 2023-09-27 |
JP2023017821A (ja) | 2023-02-07 |
DK3802014T3 (da) | 2024-01-02 |
CA3095706A1 (en) | 2019-12-05 |
EP3802014B1 (en) | 2023-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7476278B2 (ja) | アイテム検証のための制御デバイス及び方法 | |
US12012285B2 (en) | Systems and methods for processing objects including a linear gantry system | |
US11932489B2 (en) | Systems and methods for processing objects including an auto-shuttle system | |
CN113955367B (zh) | 包括空间高效的分配站和自动化输出处理的用于处理物体的系统和方法 | |
US11850633B2 (en) | Robotic system having shuttle | |
CN113272837A (zh) | 利用一个或多个物体处理系统使用传送器运输来分离物体的系统和方法 | |
GB2613690A (en) | Systems and methods for order processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |