CN117396820A - 自动化托盘概况分析 - Google Patents
自动化托盘概况分析 Download PDFInfo
- Publication number
- CN117396820A CN117396820A CN202280036890.4A CN202280036890A CN117396820A CN 117396820 A CN117396820 A CN 117396820A CN 202280036890 A CN202280036890 A CN 202280036890A CN 117396820 A CN117396820 A CN 117396820A
- Authority
- CN
- China
- Prior art keywords
- tray
- turntable
- computing system
- cameras
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 158
- 238000003860 storage Methods 0.000 claims description 172
- 230000001154 acute effect Effects 0.000 claims description 2
- 238000004378 air conditioning Methods 0.000 claims 9
- 238000005286 illumination Methods 0.000 abstract description 56
- 230000008569 process Effects 0.000 description 73
- 238000012545 processing Methods 0.000 description 53
- 230000015654 memory Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 29
- 238000010191 image analysis Methods 0.000 description 27
- 239000000047 product Substances 0.000 description 25
- 230000004313 glare Effects 0.000 description 20
- 238000007689 inspection Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 12
- 238000012552 review Methods 0.000 description 12
- 229920003023 plastic Polymers 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000012015 optical character recognition Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005057 refrigeration Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 229920000298 Cellophane Polymers 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
- B65G1/1376—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning conveyor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- Warehouses Or Storage Devices (AREA)
- Manufacture, Treatment Of Glass Fibers (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
- Control And Other Processes For Unpacking Of Materials (AREA)
Abstract
用于对仓库中的托盘进行概况分析的系统及方法包含使所述托盘旋转的转台、移动所述托盘的输送带及位于接近所述转台的侧面的固定位置中的垂直概况分析结构,所述垂直概况分析结构具有安装在不同位置处的摄像机。拍照隔间也可提供均匀的光照。计算系统可指示输送带将所述托盘自动地按特定路线发送到所述转台上,指示所述摄像机在所述托盘于所述转台上旋转时捕获所述托盘的图像数据,接收所述图像数据,且检索所述托盘的使用具有唯一标识符的托盘图像训练的基于图像的模型。所述计算系统可基于将所述基于图像的模型应用于所述图像数据而确定所述托盘的唯一标识符是否为可识别的,且向仓库管理系统传输指示所述唯一标识符是否为可识别的通知。
Description
技术领域
本文件描述在于仓库环境或其它存储设施处接收例如托盘等物品时对所述物品进行自动概况分析(profiling)。
背景技术
仓库或类似存储设施每天可接收数千件物品以进行存储。此类物品可包含托盘、板条箱、箱柜或可存储在仓库中的其它物品。进入仓库的物品可具有唯一信息,所述唯一信息可影响物品存储在何处、物品存储多长时间等。物品还可具有可在整个供应链中使用的唯一识别信息。
物品可在仓库中存储较短或临时的时间周期。物品也可在仓库中存储较长的时间周期。取决于物品的特性,可将物品存储在不同的仓库位置中。举例来说,可基于存储位置能够适应物品的高度、重量及/或大小来针对所述物品选择存储位置。作为另一实例,可针对特定客户的所有物品指定存储位置。作为又一实例,可针对具有温度存储要求(例如,物品需要处于冷藏中)的物品选择存储位置。
可以多种方式针对每一物品识别存储及其它物品特性。举例来说,可从先前的供应链用户(例如将存储物品递送到仓库以进行存储的供应商)接收存储特性。有时,此信息可包含人为错误。有时,一旦物品到达仓库,此信息便可为不准确的,这是因为在物品运输中可发生意外事件。举例来说,托盘到达仓库时可能会损坏、倾斜及/或丢失容器或其它内容。因此,在装运到仓库之前由供应商确定的关于托盘的信息可为不准确的。不准确的信息可用于找到效率较低或次优的存储位置。此外,依赖于不准确的信息可导致不被察觉的损坏,这可对供应链及客户满意度产生负面影响。一旦物品进入仓库中并准备移动到存储位置,在装运或递送期间物品的改变(例如,凹痕、破损的托盘、丢失的盒子等)便可不会被计及。物品一旦进入仓库便可或不可被再次检验。
作为另一实例,存储或其它物品特性可由仓库工作者确定。仓库工作者可在物品进入仓库时对所述物品进行检验并将关于所述物品的信息手动输入到例如仓库管理系统等计算系统中。仓库工作者也可使用手持式扫描仪、摄像机或类似装置来检查物品并收集关于物品的存储特性的信息。人工检验可导致仓库效率的延迟以及在移动入库物品以进行存储时的延迟。仓库工作者可在检验及/或记录关于物品的信息时出错。一些特性可不容易被人眼注意到。仓库工作者也可快速工作以便能够检验物品队列,因此仓库工作者可能不会看到或记录物品及存储特性。此外,如果在给定时间周期内匆忙检验队列中的所有物品,那么仓库工作者可将错误值输入到计算系统中。
物品特性也可通过定位于仓库各处的摄像机或其它扫描装置来识别。举例来说,当物品在仓库中移动时,摄像机可捕获物品的图像且将那些图像发送到计算系统以进行处理。摄像机可无法捕获物品的清晰图像及/或可无法捕获物品的所有侧面/角度。计算系统可不能够充分识别所述物品的存储及其它物品特性,这可导致仓库效率低下。
发明内容
本文件一般来说描述用于对物品(例如仓库中的托盘)进行概况分析的系统、方法、设备、装置及技术。所公开的技术可包含经配置以从多个角度捕获托盘的图像数据的仓库组件与扫描装置的组合。举例来说,所公开的技术可包含上输送带(on conveyor belt)及下输送带(off conveyor belt)、旋转转台及具有一或多个固定摄像机的垂直杆。垂直杆可定位在远离旋转转台阈值距离处,以便准许每一摄像机有足够的视野来捕获托盘的图像(即,捕获托盘的整个宽度的图像)。垂直杆可保持静止,使得配置在其上的一或多个摄像机从相同的距离、角度及视野(FOV)捕获托盘的图像。拍照隔间或类似的光中和结构可定位在旋转转台周围以提供一致及均匀的光照来捕获托盘的图像,而不管周围环境(即,仓库中的停靠区域)中的光照条件如何。一或多个灯(例如,红灯、频闪灯)可定位在拍照隔间内部及/或垂直杆上以照明旋转转台及上面的托盘,且特定光照配置(例如,从光源发射的光的波长、偏光滤光片、频闪持续时间、光强度)及/或摄像机配置(例如,快门速度、偏光镜头滤光片)可用于实现一致及可靠的图像,尽管托盘条件高度可变(例如,霜、透明及半透明塑料包装层)。举例来说,光照可从摄像机的有利点偏移及成角度(例如,大约45度偏移)以减少所捕获图像中的眩光。拍照隔间及光照可提供更亮、更清晰的托盘图像以被摄像机捕获。
计算系统可控制所公开技术中用于对托盘进行概况分析的组件(例如,摄像机、转台、上输送带及下输送带、灯等)的操作。举例来说,托盘可被装载到上输送带上(例如,在第一次进入仓库时)。托盘在沿上输送带向下移动时可自动地对准,且然后可自动地移动到转台上。计算系统可控制转台以使托盘在其上居中,这可准许当托盘在转台上旋转时,从托盘周围相同/类似的距离捕获托盘的图像。转台可以预定速度旋转,且可包含在各种旋转角度处的暂停(例如,每15度、30度、45度、60度或90度旋转暂停)以在相对于摄像机的那些定向处捕获托盘的图像。替代地及/或另外,托盘可连续旋转且可在各种定向处捕获图像,而不暂停转台的旋转。计算系统可从摄像机接收图像数据,且使用图像分析技术及/或机器学习模型来识别关于托盘的信息。举例来说,计算系统可识别与托盘及/或其组成部分(即,托盘上的箱子)相关联的一或多个标签或其它唯一标识符。在另一实例中,计算系统可确定托盘的尺寸(例如,高度、宽度、深度)、包含在托盘中的物品的类型、那些物品的数量、关于那些特定物品的信息(例如,日期、产地、有效期)及/或其它细节。
计算系统可使用所确定的托盘信息来指导托盘的后续处理,例如将托盘入站到仓库中以识别托盘在仓库中的特定存储位置。举例来说,被识别并用于存储托盘的特定存储位置可取决于托盘中所含有的物品的类型、那些物品的特定环境要求(例如,温度、湿度)以及对于易腐的货物,指示货物的使用年限/有效期的信息。在其中计算机系统可不能够以至少阈值置信度水平辨别那些细节中的一些或全部的实例中,计算机系统可将托盘引导到仓库内的临时存储位置以等待托盘的手动概况分析,这可由远程用户经由图像及托盘的其它所捕获信息来执行。举例来说,对于不能够被自动识别的托盘,例如在其中识别托盘的内容时存在显著视觉障碍(即,霜、数层塑料包装)的实例中,托盘可被引导到临时存储区且可被添加到队列中以进行手动审查。然后,手动审查者可使用计算装置来审查托盘的图像及其它所捕获细节,且可识别托盘及其内容,计算系统可使用这些来将托盘重新定向到特定有组织的存储位置(例如长期存储区域)中。
在一些实施方案中,替代将托盘发送至临时存储位置,还可捕获及分析托盘的额外图像(例如,再次旋转转台并在不同定向处拍摄图像)。摄像机可捕获托盘的图像,所述图像可由计算系统处理以识别托盘标签。如果标签为不可识别的,那么可将托盘按特定路线发送到下输送带以进行临时存储。如果标签被识别,那么可将托盘按特定路线发送到下输送带以进行有组织的存储。
可存储与托盘相关联的图像数据以供后续处理。也可实时地处理图像数据。可执行此额外处理来确定托盘信息。一些信息可包含但不限于损坏、倾斜度、盒子计数、层数、内容及托盘大小(例如,高度、重量、总尺寸)。可将由计算系统识别的托盘信息与由仓库工作者手动输入到仓库管理系统(WMS)及/或仓库控制系统(WCS)中或者以其它方式由WMS/WCS存储的托盘信息进行比较。比较托盘信息可有利于确定由计算系统识别的信息的准确度。
一种实施方案可包含一种用于对仓库中的托盘进行概况分析的系统。所述系统可包含可使所述托盘旋转的转台,以及用于在所述仓库中移动所述托盘的第一输送带及第二输送带。所述第一输送带可将所述托盘从所述仓库中的初始位置自动地按特定路线发送到所述转台上,且所述第二输送带可将所述托盘从所述转台自动地按特定路线发送到所述仓库中的目的地位置。所述系统还可包含位于接近所述转台的侧面的固定位置中的垂直概况分析结构,所述垂直概况分析结构具有安装在沿着所述垂直概况分析结构的多个不同位置处的多个摄像机。当所述托盘在所述转台上旋转时,所述多个摄像机可捕获所述托盘的图像,所述图像从多个不同有利点提供所述托盘的多个不同视图,所述多个不同有利点由在所述多个不同位置处安装到所述垂直概况分析结构的所述摄像机提供。所述系统还可包含计算系统,所述计算系统可对所述托盘进行概况分析并控制所述转台、所述第一输送带及所述第二输送带以及所述多个摄像机的操作。所述计算系统可:指示所述第一输送带将所述托盘自动地按特定路线发送到所述转台上;指示所述多个摄像机在所述转台旋转时捕获所述转台上的所述托盘的图像数据,直到旋转周期完成;从所述多个摄像机接收所述托盘的所述所捕获图像数据;及从数据存储装置中检索所述托盘的基于图像的模型。可使用具有唯一标识符的托盘的图像来训练所述基于图像的模型。所述计算系统还可基于将所述托盘的所述基于图像的模型应用于所述托盘的所述所捕获图像数据而确定所述托盘上的唯一标识符是否为可识别的,且向仓库管理系统传输指示所述托盘上的所述唯一标识符是可识别的还是不可识别的通知。所述通知可致使所述仓库管理系统基于所述唯一标识符的识别而将所述托盘按特定路线发送到不同的存储位置中。
此实施方案可任选地包含一或多个以下特征。举例来说,所述多个摄像机可沿着同一垂直平面布置,其中每一摄像机具有基本上水平的角度。作为另一实例,所述垂直概况分析结构可为杆,所述垂直概况分析结构可与所述第一输送带、所述第二输送带及所述转台横向间隔开,使得所述垂直概况分析结构不悬挂在所述第一输送带、所述第二输送带及所述转台中的任一者之上,且所述垂直概况分析结构可定位于距所述转台1.7米与1.9米之间的工作距离处。在一些实施方案中,所述垂直概况分析结构可包含至少一个光源,所述至少一个光源与所述多个摄像机中的每一者垂直对准并从其偏移。所述至少一个光源可为红光。所述多个摄像机中的一或多者可包含偏光器、红光滤光片及带通滤光片中的至少一者。在一些实施方案中,所述垂直概况分析结构可包含光源,所述光源安装在所述垂直概况分析结构的顶部处并向下成角度以在所述托盘于所述转台上旋转时照明所述托盘的顶部表面。
作为另一实例,所述系统还可包含拍照隔间,所述拍照隔间可封围包含所述转台及所述垂直概况分析结构的区域。所述拍照隔间可包含(i)可防止周围光进入所述经封围区域的侧面及顶部,以及(ii)用以在所述托盘于所述转台上旋转时将光投射在所述托盘上的光源。所述光源可从所述垂直概况分析结构横向偏移并相对于所述转台成角度,使得所述光源将光从所述托盘的顶部表面成锐角地反射到所述多个摄像机。所述光源可发射与所述多个摄像机的预定快门速度相关的特定强度及持续时间的光。在一些实施方案中,所述拍照隔间可包含沿着所述拍照隔间的顶部表面定位的条,所述条在所述第一输送带的方向上对准。所述条可包含光源及摄像机。当所述托盘在所述转台上旋转时,所述光源可将光投射于所述托盘的顶部表面上。摄像机可捕获所述托盘的所述顶部表面的图像。在一些实施方案中,所述拍照隔间可由深色织物制成,所述深色织物可防止周围光进入所述经封围区域。
在一些实施方案中,所述拍照隔间还可包含(i)在所述拍照隔间的第一侧面中的第一开口,所述托盘可通过所述第一开口从所述第一输送带被接收到所述转台上,以及(ii)在所述拍照隔间的与所述第一侧面相对的第二侧面中的第二开口,所述托盘可通过所述第二开口从所述转台被移动到所述第二输送带。在一些实施方案中,所述系统还可包含附接到垂直光照结构的至少一个光源,其中所述垂直光照结构可定位于所述经封围区域内。所述垂直光照结构可从所述垂直概况分析结构偏移。
作为另一实例,所述系统可包含顶置摄像机,所述顶置摄像机经配置以在所述托盘于所述转台上旋转时捕获所述托盘的顶部表面的图像。在一些实施方案中,所述系统可包含一或多个摄像机,所述一或多个摄像机安装在所述垂直概况分析结构的顶部部分附近并向下成角度以捕获所述托盘的所述顶部表面的图像。在一些实施方案中,所述多个摄像机中的一或多者可沿着所述垂直概况分析结构的中间部分安装且平行于所述转台的表面,以在所述托盘于所述转台上旋转时捕获所述托盘的侧表面的图像。所述多个摄像机中的一或多者可沿着所述垂直概况分析结构的底部部分安装且向上成角度,以在所述托盘于所述转台上旋转时捕获所述托盘的底部表面的图像。
作为另一实例,所述计算系统还可将所述托盘的侧表面、顶部表面及底部表面的一或多个图像数据拼接在一起,并基于将所述基于图像的模型应用于所述拼接在一起的图像数据而确定所述托盘的高度、所述托盘的损坏、所述托盘的倾斜度、所述托盘的内容、所述托盘上的行数以及所述托盘上的物品数量。作为又一实例,计算机系统还可将所述托盘居中于所述转台的中点处,并指示所述转台以恒定的预定速度在第一方向上旋转。在一些实施方案中,预定速度可基于所述托盘的大小、所述垂直概况分析结构上的所述摄像机的数量以及所述摄像机的一或多个角度。
作为另一实例,所述计算系统可基于确定所述托盘上的所述唯一标识符为不可识别的而针对所述托盘产生占位符标签,基于使用所述占位符标签作为所述托盘的标识符来产生针对所述托盘的托盘概况,并向自动化仓库装置传输具有所述占位符标签的通知。所述通知可致使所述自动化仓库装置打印所述占位符标签并将所述所打印的占位符标签施加到所述托盘的指定表面。
作为另一实例,在确定所述托盘上的所述唯一标识符是否为可识别的同时,所述计算系统可:指示所述第一输送带将第二托盘自动地按特定路线发送到所述转台上;指示所述多个摄像机在所述转台旋转时捕获所述转台上的所述第二托盘的图像数据;从所述多个摄像机接收所述第二托盘的所述所捕获图像数据;及基于将所述第二托盘的基于图像的模型应用于所述第二托盘的所述所捕获图像数据而确定所述第二托盘上的唯一标识符是否为可识别的。
作为另一实例,基于确定所述托盘上的所述唯一标识符为不可识别的,所述计算系统还可将所述托盘标记为不可识别的。基于确定所述托盘上的所述唯一标识符为可识别的,所述计算系统还可将所述托盘标记为可识别的。作为另一实例,目的地位置可为所述仓库中的有组织的存储位置及临时存储位置中的至少一者。所述计算系统可至少部分地基于与所述托盘相关联的所有者、物品及代码数据而确定所述托盘的所述有组织的存储位置。在一些实施方案中,所述唯一标识符可包含条形码、标签、产品标识符、QR码及SKU。在一些实施方案中,所述多个摄像机可包含三个摄像机。在一些实施方案中,每当所述托盘在所述转台上旋转30度时,可指示所述多个摄像机捕获所述托盘的图像数据一次。在一些实施方案中,每当所述托盘在所述转台上旋转90度时,可指示所述多个摄像机捕获所述托盘的图像数据一次。在一些实施方案中,一旦所述托盘第一次旋转30度,便可指示所述多个摄像机捕获所述托盘的图像数据,且然后后续每当所述托盘在所述转台上旋转90度时捕获一次。在一些实施方案中,所述计算系统还可基于将所述基于图像的模型应用于所述托盘的所述所捕获图像数据而识别关于所述托盘的信息,从数据存储装置存取关于所述托盘的预先识别的信息,将所述所识别信息与关于所述托盘的所述预先识别的信息进行比较,确定所述所识别信息与关于所述托盘的所述预先识别的信息之间的匹配,且基于确定所述所识别信息与所述预先识别的信息之间的匹配而用所述所识别信息来更新与所述托盘相关联的托盘概况。
本文中所描述的特定实施例还可包含一种用于对托盘进行概况分析的计算机实施的方法。所述方法可包含:由计算系统指示第一输送带将托盘自动地按特定路线发送到转台上;及由所述计算系统指示多个摄像机在所述转台旋转时捕获所述转台上的所述托盘的图像数据,直到旋转周期完成。所述多个摄像机可安装在沿着垂直概况分析结构的多个不同位置处,所述垂直概况分析结构位于接近所述转台的侧面的固定位置中。所述方法还可包含由所述计算系统从所述多个摄像机接收所述托盘的所述所捕获图像数据,所述图像数据从多个不同有利点提供所述托盘的多个不同视图,所述多个不同有利点由在所述多个不同位置处安装到所述垂直概况分析结构的所述摄像机提供。所述方法可包含:由所述计算系统从数据存储装置中检索所述托盘的基于图像的模型,可使用具有唯一标识符的托盘的图像来训练所述基于图像的模型;由所述计算系统基于将所述托盘的所述基于图像的模型应用于所述托盘的所述所捕获图像数据而确定所述托盘上的唯一标识符是否为可识别的;及由所述计算系统向仓库管理系统传输指示所述托盘上的所述唯一标识符是可识别的还是不可识别的通知。所述通知可致使所述仓库管理系统基于所述唯一标识符的识别而将所述托盘按特定路线发送到不同的存储位置中。
在一些实施中,所述方法可包含一或多个以下特征。举例来说,所述方法可进一步包含由所述计算系统将所述托盘的侧表面、顶部表面及底部表面的一或多个图像数据拼接在一起,且由所述计算系统基于将所述基于图像的模型应用于所述拼接在一起的图像数据而确定所述托盘的高度、所述托盘的损坏、所述托盘的倾斜度、所述托盘的内容、所述托盘上的行数以及所述托盘上的物品数量。所述方法还可包含由所述计算系统将所述托盘居中于所述转台的中点处,且由所述计算系统指示所述转台以恒定的预定速度在第一方向上旋转。
在一些实施方案中,所述垂直概况分析结构可为杆,所述垂直概况分析结构可与所述第一输送带及所述转台横向间隔开,使得所述垂直概况分析结构不悬挂在所述第一输送带或所述转台之上,且所述垂直概况分析结构可定位于距所述转台1.7米与1.9米之间的工作距离处。
作为另一实例,所述方法还可包含由所述计算系统将光源配置成发射与所述多个摄像机的预定快门速度相关的特定强度及持续时间的光。所述光源可包含在拍照隔间中,所述拍照隔间可封围包含所述转台及所述垂直概况分析结构的区域。所述拍照隔间可包含(i)防止周围光进入所述经封围区域的侧面及顶部,以及(ii)在所述托盘于所述转台上旋转时将光投射在所述托盘上的所述光源。
在一些实施方案中,所述方法还可包含:由所述计算系统基于确定所述托盘上的所述唯一标识符为不可识别的而针对所述托盘产生占位符标签;由所述计算系统使用所述占位符标签作为所述托盘的标识符来产生针对所述托盘的托盘概况;及由所述计算系统向自动化仓库装置传输具有所述占位符标签的通知。所述通知可致使所述自动化仓库装置打印所述占位符标签并将所述所打印的占位符标签施加到所述托盘的指定表面。
可从所公开的技术实现一或多个优点。举例来说,旋转转台与附接到转台附近的垂直杆的固定摄像机的组合提供了从均匀的工作距离连续捕获图像。垂直杆可位于距旋转转台特定工作距离处,且摄像机可以特定角度及特定FOV布置。托盘可在转台上居中并以恒定速度旋转。在具有固定摄像机的情况下使托盘在中心位置中旋转而非使摄像机在托盘周围旋转可提供要被捕获的更均匀图像。可从相同的距离、FOV及角度均匀地捕获图像,这可使得将图像拼接在一起更容易、更高效且更准确。还可捕获托盘每一侧面的图像,借此提供托盘的更完整视图以用于经由图像分析技术进行概况分析。
此外,这些图像可提供更全面的图像处理。由于可捕获托盘每一侧面的图像,因此使用图像处理技术可更容易地识别标签、文本、损坏、遗漏内容、倾斜度及其它特性。当执行手动检验时,仓库工作者可监视托盘的任何侧面的一部分,从而遗漏可对概况分析及存储托盘至关重要的信息。举例来说,仓库工作者可不能够到达托盘下方来检验木质框架的损坏。因此,托盘可被不恰当地存储且损坏可无法修复。这可导致仓库效率低下以及增加整个供应链的成本。
利用自动化所公开的技术还可更准确且更高效地识别托盘信息。对进入仓库的每个托盘的手动人工检验可为耗时的、低效的,且在识别托盘特性时可导致错误。所公开的技术可在每一托盘进入仓库时提供对其的自动概况分析且至少识别与所述托盘相关联的标签。一旦标签被识别,托盘便可被按特定路线发送以在仓库中进行有组织的存储。额外托盘信息及特性可在稍后的时间从托盘的图像数据中识别(例如,当托盘被按特定路线发送到有组织的存储位置时)。如果至少无法从图像数据中识别标签,那么可将托盘按特定路线发送到临时存储位置,在所述临时存储位置处,仓库工作者可手动检验托盘及/或分析图像数据。因此,仓库工作者仅可检验其标签未被所公开的技术识别的托盘。与仓库工作者必须手动检验进入仓库的每个托盘相比,仓库工作者可具有更小的工作队列。因此,仓库工作者可花费适当的时间量来手动检验托盘、识别标签并确定托盘可存储在仓库中的何处。
与现有概况分析系统相比,所公开的技术还可在仓库环境或其它存储设施中的实施成本更低。本文中所描述的垂直杆可包含很少的摄像机。所述杆可定位在仓库中的任何位置且可在仓库内容易地四处移动。在一些实施方案中,所述杆可包含一到三个摄像机。这些摄像机可很容易地维修及维护,这是因为所述摄像机处于一个位置中。可不需要购买独立的摄像机并将其定位在整个仓库中及/或固定到仓库的组件来执行本文中所描述的技术、方法及过程。现有的概况分析系统可使用定位在整个仓库中的许多摄像机。当托盘在整个仓库中移动时,这些摄像机可不能充分地捕获托盘的每个角度及侧面,从而导致仓库中的低效率及较差托盘概况分析结果。此外,设置、维护及/或固定定位在整个仓库中的摄像机可为及时且昂贵的。另一方面,所公开的技术可提供空间高效的、位于中心的概况分析系统,即垂直杆。用摄像机设置垂直杆可为快速且高效的。维护也可快速且容易地执行。最后,摄像机在垂直杆处的中心位置可在仓库中占用较少的地板空间,这可优化仓库中的空间效率。
作为另一实例,所公开的技术可提供从垂直杆处的摄像机偏移的灯以减少眩光。因此,可捕获更清晰的图像。还可使用一或多个红灯来消除红光以外的光波长。通过消除那些波长,可更准确地执行图像分析技术。图像越清晰,计算系统就越容易、快速及准确地识别图像中的标签及其它托盘特性。类似地,所公开的技术可提供使用围绕旋转转台定位拍照隔间来提供均匀光照。拍照隔间可有帮助减少或以其它方式消除周围光照,这可有利于在具有最少或不具有眩光的情况下捕获托盘的更清晰图像。如上所述,图像越清晰,计算系统就可越准确及快速地识别托盘的标签并按特定路线发送托盘以进行存储。
作为另一实例,所公开的技术可提供最大化吞吐量。图像处理及分析可以交错的时间间隔执行。至少,可在第一时间目标期间或之前执行及完成对托盘的标签是否可识别的确定。如果仍剩余时间,那么可执行额外处理及分析以识别关于托盘的额外信息。否则,可在另一托盘被摄取及概况分析时将托盘按特定路线发送到仓库中的某一存储位置。因此,所公开的技术可提供快速识别至少托盘的标签且将所摄取的托盘移动通过概况分析过程并进入存储中。如此做时,仓库效率可不会因本文中所描述的托盘的概况分析而受到损害。
此外,所公开的技术可提供改进整体仓库效率并优化仓库空间。如所述,摄像机可定位在单一的垂直杆上,所述垂直杆可在仓库的占用面积中占据很少的空间。垂直杆可容易地在仓库周围移动以在不同位置中进行扫描。因此,可优化仓库空间。具有摄像机的单一垂直杆也可提供进入托盘的更准确的图像来捕获。捕获的图像越准确,计算系统对此类托盘的概况分析就越准确及高效。当托盘被准确及快速地概况分析时,其可被按特定路线发送以存储在仓库中,而不会在进入的托盘队列中以及在整个供应链中引起延迟或阻塞。因此,可改进整体仓库效率。
一或多个实施例的细节在附图及以下描述中陈述。依据描述及附图以及权利要求书,其它特征及优点将变得显而易见
附图说明
图1A是用于在仓库环境中对物品进行概况分析的系统的概念图。
图1B描绘可在仓库环境中进行概况分析的物品的实例性托盘。
图1C描绘在不同光照条件下在箱子上识别的实例性产品标识符。
图2描绘用于在仓库环境中对物品进行概况分析的系统的拍照隔间的透视图。
图3A是用于在仓库环境中对物品进行概况分析的系统的实例性配置的俯视图。
图3B是用于在仓库环境中对物品进行概况分析的系统的另一实例性配置的俯视图。
图3C是用于在仓库环境中对物品进行概况分析的系统的另一实例性配置的俯视图。
图4A描绘用于对物品进行概况分析的摄像机配置。
图4B描绘用于对物品进行概况分析的另一摄像机配置。
图4C到E描绘用于对物品进行概况分析的另一摄像机及光照配置。
图5A是用于使用本文中所描述的技术对物品进行概况分析的过程的框图。
图5B是参考图5A用于对物品进行概况分析的过程的时间线。
图6是用于对进入仓库环境的托盘进行概况分析的过程的流程图。
图7是用于从托盘的图像数据识别托盘信息的过程的流程图。
图8是用于在仓库环境中对托盘进行概况分析及存储的过程的泳道图。
图9是用于确定经概况分析托盘的存储位置的过程的泳道图。
图10是描绘可经配置以执行本文中所描述的任何技术的系统组件的系统图。
图11A到B是用于对托盘进行概况分析的实例性过程的泳道图。
图12是可用于实施本文中所描述的系统及方法的计算装置的框图。
具体实施方式
本文件描述用于在例如托盘等物品进入仓库环境时对所述物品进行概况分析的系统、方法及技术。所公开的技术可提供具有固定摄像机的垂直杆与旋转转台的组合,以提供对入站托盘的连续且均匀的图像捕获。垂直杆可在仓库中占据最小的空间且可在仓库中到处移动到所要位置。例如及/或包含红光的光可从固定摄像机偏移并提供均匀的光照,这可产生不具有眩光的较清晰图像。所捕获图像可由计算系统接收及处理以识别图像中托盘的唯一标识符,例如标签。一旦识别标签,计算系统便可按特定路线发送托盘以存储在仓库环境中。如果标签无法被识别,那么计算系统可将托盘按特定路线发送到临时存储区并将所捕获图像添加到队列中以供仓库工作者审查及检验。本文中所描述的过程、方法及技术可针对每一入站托盘进行重复。
参考各图,图1是用于在仓库环境128中对物品进行概况分析的系统100的概念图。仓库环境128可为任何类型的存储设施或者用于移动、按特定路线发送及/或存储物品达不同时间长度的其它环境。实例性仓库环境包含冷藏设施、配送中心及普通仓库。系统100包含上输送带102、下输送带106、转台104、垂直杆108(例如,概况分析结构)及拍照隔间126。如参考图2到3进一步所描述,拍照隔间126可用于提供均匀光照条件以获得更好且更清晰的图像捕获。在一些实施方案中,系统100可不包含拍照隔间126。
输送带102及106可为仓库环境中使用以在整个仓库环境128中移动(例如,自动、半自动及/或手动)及按特定路线发送物品的任何类型的输送带、辊子或其它机构。转台104可为可旋转平台。上输送带102可被配置/附接到转台104,使得定位于带102上的具有物品122(例如,盒子、容器等)的托盘120可自动移动到转台104上。当托盘120到达仓库128处时,上输送带102可接收该托盘。举例来说,上输送带102可在仓库128的停靠站区域中或附近。托盘120可在停靠站处从卡车上被卸下且自动或手动放置(例如,注入)到输送带102上(例如,通过仓库工作者、叉车等)。输送带102可自动将托盘120朝向转台104移动。
在托盘120移动到转台104上之前,配置到上输送带102的调整装置138可将托盘120在带102上对准及/或居中。因此,托盘120可在转台104的中心或中点处被递送到转台104上。在一些实施方案中,托盘120也可在转台104的中点处自动居中。使托盘120居中及对准可有利于捕获托盘120的均匀图像,如下文进一步所描述。
仍参考图1,下输送带106可被配置/附接到转台104,使得一旦捕获托盘120的图像,托盘120便可自动移动到带106上,如下文进一步所描述。下输送带106可包含用于将托盘120按特定路线发送到仓库128中的有组织的存储位置132及/或临时存储位置130的一或多个分支。托盘120可以恒定的速度沿着输送带102及106及/或转台104移动。在一些实施方案中,速度可为2in/sec。基于本文中所描述的系统100中的组件的配置及性能,托盘120可以更快或更慢的速度移动。
转台104可经配置以使托盘120围绕z轴以顺时针及/或逆时针方向旋转。在一些实施方案中,转台104可在托盘120的第一次扫描(例如,通过)期间使托盘120在一个方向上旋转且然后在托盘120的第二次扫描期间使所述托盘在相反方向上旋转。转台104可具有缓慢但流畅的旋转,使得可从每个侧面/角度捕获托盘120的图像。举例来说,转台可以2in/sec的速度旋转。可使用一或多个其它旋转速度。在一些实施方案中,可基于正在被扫描的托盘来调整旋转的速度及/或方向。举例来说,对于具有更大表面积的大型托盘,与大小为大型托盘的一半从而具有更小表面积的托盘相比,转台104可以更快的速度旋转。
垂直杆108可包含一或多个摄像机110A到N。任选地,垂直杆108还可包含一或多个光源,如参考图2到4所描绘及描述。如图1A中所展示,摄像机110N也可在转台104之上定位于拍照隔间126内。摄像机110N可经配置以捕获托盘120的顶部表面的图像。一般来说,摄像机110A到N可经配置以在托盘120于转台104上旋转时连续捕获该托盘的图像数据。摄像机110A到N中的一或多者可与转台104成90度偏移。摄像机110A到N还可以其它角度偏移及/或相对于转台104定位。
杆108可为统一高度以适应可放置在转台104上的任何大小托盘。在一些实施方案中,可取决于被扫描的托盘的大小来调整杆108的高度。杆108可为固定的且放置在远离转台104的工作距离处。由于杆108是固定的,因此附接到其的摄像机110A到N可基于恒定距离、视野(FOV)及角度从所有侧面捕获托盘120的图像。
在一些实施方案中,杆108可包含定位于杆108的顶部处的摄像机以捕获托盘120的顶部的图像。杆108还可包含定位于杆108的底部处的摄像机以捕获托盘120的底部的图像。此类摄像机的放置可有利于提供对托盘120的部分的图像的捕获,否则仓库工作者可难以检验或看到所述图像。因此,图像可提供整个托盘120的更完整视图以用于概况分析。
摄像机110A到N可以预定角度附接到杆108,使得可从多个角度捕获托盘120的每个侧面的图像。因此,可将图像拼接在一起以产生托盘120的综合图像模型以用于进一步处理(例如,识别托盘120的特性)。在一些实施方案中,摄像机110A到N中的一或多者可为其它类型的感测或成像装置,包含但不限于LIDAR、3D立体摄像机、热传感器及/或扫描仪(例如,条形码、RFID、QR码)。在其它实施方案中,除了一或多个LIDAR传感器、热传感器及扫描仪之外,杆108还可包含一或多个摄像机110A到N。将所有摄像机、传感器及/或扫描仪定位在单个杆108上可提供对仓库环境128中空间的更高效使用,以及对托盘的更节省时间、高效且准确的扫描及概况分析。
在一些实施方案中,垂直杆108可包含一个摄像机110A。举例来说,摄像机110A可具有较大FOV以从顶部到底部捕获托盘120。具有一个摄像机110A的杆108可被定位成远离转台104(例如,更大的工作距离),以便从顶部到底部捕获托盘120。此配置可为有利的,这是因为其可比多个摄像机实施起来成本更低。此外,一个摄像机110A可为高分辨率摄像机。对托盘120进行概况分析将不需要将来自多个摄像机的图像拼接在一起,这可减少处理时间并使用较少计算资源。因此,通过图像处理进行概况分析可变得更高效。
在一些实施方案中,垂直杆108可包含两个摄像机110A到B。摄像机110A到B可具有较大FOV且可为高分辨率摄像机。对托盘120进行概况分析可需要将来自两个摄像机110A到B的图像拼接在一起,这比必须将来自多于两个摄像机的图像拼接在一起使用更少的处理能力及计算资源。作为实例性配置,杆108可定位在远离转台104 1.9m的工作距离处。杆108可具有2.75m(例如,108英寸)的最大高度。第一摄像机110A可定位于距杆108的底部1.6m(例如,63英寸)处。第二摄像机110B可定位于距杆108的顶部1.6m处。因此,摄像机110A到B可具有大约0.225m(例如,8.9英寸)的FOV重叠。此FOV重叠可有利于更容易、快速及准确地将由摄像机110A到B捕获的图像拼接在一起。
在其它实施方案中,垂直杆108可包含三个摄像机110A到C,如参考图4A到B所描述。杆108还可包含额外摄像机110D到N或者其它传感器或成像装置。
垂直杆108配置可为有利的,这是因为其在仓库环境128中使用较少的空间且还防止在摄像机围绕托盘旋转时可能发生的潜在成像及概况分析差异。当摄像机围绕固定托盘旋转时,所捕获的每一图像可从不同的角度及/或在距托盘不相等的距离处拍摄。举例来说,旋转摄像机可围绕托盘的每一侧上下移动。通过上下移动,旋转摄像机可固有地重新定位在距托盘不同的距离处以捕获每一图像。一旦图像被拼接在一起,这可导致图像失真。将此类图像拼接在一起可需要额外处理能力及计算资源,并且可导致不准确的成像及像素化。因此,托盘特性可被不准确地识别或以其它方式未被识别。
另一方面,杆108配置确保当托盘120在转台104上旋转时,所有图像均从距托盘120的相等距离(例如,工作距离)被捕获。距离相等的图像可更容易地拼接在一起以产生用于概况分析及特性识别的托盘120的综合图像。
系统100可任选地包含被配置到转台104的一或多个传感器、摄像机及/或扫描仪。举例来说,一或多个传感器可被配置到转台104以检测及确定托盘120的重量。作为另一实例,一或多个摄像机、扫描仪或其它成像装置可附接到转台104的顶部表面以捕获位于托盘120底部上的一或多个图像或其它信息(例如,木质框架的底部的损坏)。作为又一实例,转台104可具有一或多个运动传感器以确定转台104旋转的速度及/或角度。
仍参考图1A,系统100包含经由网络150进行通信(例如,有线及/或无线)的计算系统152、仓库管理系统(WMS)154、用户装置156及托盘概况数据存储装置158。计算系统152可控制系统100的一或多个组件来对托盘120进行概况分析。在一些实施方案中,计算系统152可为包含WMS154的一或多个计算系统的组合。计算系统152还可执行图像处理技术来识别关于托盘120的信息。举例来说,计算系统152可从摄像机110A到N接收图像数据(步骤A,160)。在一些实施方案中,计算系统152可指示摄像机110A到N何时捕获托盘120的图像(例如,一旦托盘120在转台104上被感测到或以其它方式被检测到)。当图像由摄像机110A到N捕获时,计算系统152可接收图像数据。计算系统152还可在托盘120由转台104旋转完整的360度之后接收图像数据。
计算系统152可基于图像数据而对托盘120进行概况分析(步骤B,162)。如贯穿本公开所描述,计算系统152可执行图像处理及分析技术来识别与托盘120相关联的标签或其它唯一标识符。作为实例,计算系统152可经训练以识别具有范围从0.495mm到1.016mm的x尺寸、31.75的高度、为x尺寸的至少10倍的左侧静区及为x尺寸的至少10倍的右侧静区的标签。计算系统152还可经训练以识别不同大小的标签。计算系统152还可从图像数据识别关于托盘120的信息或特性。当接收到图像数据时,计算系统152可对托盘120进行概况分析。一旦接收到所有图像数据(例如,托盘120在转台104上旋转了完整的360度),计算系统152也可对托盘120进行概况分析。
计算系统152可基于对托盘120进行概况分析而产生控制指令(步骤C,164)。控制指令可由计算系统152实施以控制系统100的一或多个组件。举例来说,控制指令可致使托盘自动从转台104移动到下输送带106上。然后,可将托盘120按特定路线发送到适当的存储位置(步骤D,166)。控制指令可指示适当的存储位置。如下文进一步所描述,可基于计算系统在对托盘120进行概况分析时是否可准确地识别托盘120的标签而确定适当的存储位置(步骤B,162)。如果可准确地识别标签,那么可将托盘120按特定路线发送(步骤D,166)到有组织的存储位置132。如果无法准确地识别标签,那么可将托盘120按特定路线发送(步骤D,166)到临时存储位置130。
计算系统152还可将控制指令传输到WMS154(步骤C,164)。当无法从图像数据识别出托盘120的标签时,可将指令发送到WMS154。当将指令发送到WMS154时,还可将托盘120自动地按特定路线发送到临时存储区130(步骤D,166)。WMS154可与用户装置156进行通信以识别放置在临时存储区130中的托盘120(步骤E,168)。如下文进一步所描述,仓库工作者可检验临时存储区130中的托盘120的图像数据以识别托盘120的标签及所述托盘120的有组织的存储位置。仓库工作者也可手动检验临时存储位置130中的托盘。用户装置156可对先前不能够被识别的托盘进行识别或以其它方式进行概况分析。换句话说,用户装置156可接收托盘122的图像数据,其中此图像数据可由计算系统152提供给WMS154。WMS154可使用图像数据来确定托盘122的有组织的存储位置132。用户装置156可在图形用户接口中向仓库工作者呈现图像数据。仓库工作者可查看此图像数据并使用所述图像数据来执行对托盘122的手动及/或视觉检验。
一旦托盘120由仓库工作者及/或WMS154识别(步骤F,170),便可将托盘120移动到所述托盘120的有组织的存储位置132(步骤F,170)。举例来说,通过自动化机械输送系统(例如,输送带)、起重机或其它自主运载工具,托盘120可自动地从临时存储区120移动到有组织的存储位置132。托盘120也可例如由仓库工作者及/或叉车手动移动。
图1B描绘可在仓库环境中进行概况分析的物品的实例性托盘172。箱子174A到N可堆叠在托盘172上。箱子174A到N可包含大量产品(例如,物品)。箱子174A到N中的每一者可具有对应标签176A到N(例如,条形码、SKU)。标签176A到N可识别箱子174A到N及箱子174A到N的内容。箱子174A到N中的每一者还可具有识别箱子174A到N的内容、客户及与箱子相关的其它信息的文本。如所展示,箱子174A到N可以多个层堆叠在托盘172上。托盘172上的每一层可具有不同数量、类型及/或大小的箱子174A到N。因此,箱子174A到N的每一层可彼此不同。举例来说,底部层可包含容纳产品Y的4个大箱子174A到N。顶部层可包含容纳产品X的6个小箱子174A到N。
然后,可利用塑料包装180(例如,透明的、半透明的)将箱子174A到N一起包装在托盘172上。托盘172可具有其自身的标识符178(例如,条形码、标签、SKU)。然而,如图1B中所展示,当箱子174A到N被包装在一起时,包装180可遮挡箱子174A到B上的一或多个标签176A到N及/或标记/文本。如霜、灰尘、磨损等环境障碍物182(交叉阴影区域)也可发生,从而进一步阻碍对托盘标识符178及/或箱子174A到N的标签176A到N中的任一者的清晰查看。包装180及/或环境障碍物182可对明确识别托盘172上的箱子174A到N提出挑战,特别是当塑料包装180可反射光以遮挡下面的箱子174A到N时。因此,如本文中所描述,当对托盘进行概况分析时,计算系统152可适于处理此类障碍物。
使用本文中所描述的技术,计算系统152可确定图1C中所描绘的说明性实例托盘172的托盘概况184。托盘概况184可包含由计算系统152在对托盘172进行概况分析时确定的信息。举例来说,概况184可包含例如系统ID、概况上的每一类型的产品及/或箱子的名称及/或数量、客户托盘ID、高度、宽度、深度、重量及托盘172何时被概况分析的时间戳等信息。可针对托盘172确定一或多个额外或其它信息片段并将其存储在托盘概况184中。如贯穿本文件所描述,计算机系统152可使用多种图像分析技术中的任一者来从托盘识别及确定此信息,例如OCR技术、机器学习模型、其它技术及/或其组合。
图1C描绘在不同光照条件下在箱子上识别的实例性产品标识符。箱子186可包含产品标识符190。箱子186也可用塑料包装188来进行包装,所述塑料包装可覆盖产品标识符190的一部分或全部。产品标识符190的图像191可由本文中所描述的一或多个摄像机(例如,参考图1A中的摄像机110A到N)捕获。
摄像机可包含红光滤光片。此外,一或多个红色频闪灯可定位在箱子186附近以帮助照明产品标识符190并减少来自塑料包装188的眩光。摄像机可经设定以利用5毫秒(ms)曝光及红色频闪灯来捕获10分贝增益(dB)。摄像机还可配置有630纳米(nm)带通滤光片。产生图像191,其展示产品标识符190的清晰图像。塑料包装188可不会导致眩光或以其它方式阻碍使用本文中所描述的技术读取图像191中的产品标识符的能力。
另一方面,箱子192被设定在不同的光照及曝光条件下。箱子192包含产品标识符196,其可在一层塑料包装194下面。摄像机可经设定以利用2ms曝光及红色频闪灯来捕获10dB增益。摄像机还可具有630nm带通滤光片。如所展示,图像196’对产品标识符196的描绘不太清晰。此外,产品标识符的部分被图像196’中的塑料包装194遮挡。在一些实施方案中,本文中所描述的计算系统仍可基于产品标识符196的图像196’而对托盘192进行概况分析。然而,可调整摄像机及光照条件,使得摄像机可被曝光更长的时间周期。因此,使用本文中所描述的技术,可捕获产品标识符的更清晰、充分照明的图像,如关于图像191所展示。此图像可由计算系统使用以更准确地对托盘进行概况分析并识别关于托盘的信息。
在一些替代实施例中,摄像机镜头可配置有偏光滤光片。此外,LED光源可定位成从摄像机镜头偏移以减少镜头中的眩光,如贯穿本公开所描述。LED光源可在托盘上发出红光。在一些实施方案中,LED光源可发出白光并且偏光膜可被应用于所述光源以滤除除了对应于红光的波长之外的所有波长。因此,偏光膜可被配置到LED光源。通过使用摄像机镜头上的偏光滤光片、LED光源及偏光膜,可滤除除了红光之外的光波长。在红光设置下,摄像机可在减少眩光或无眩光的情况下产生更清晰的托盘图像。计算系统可更容易地分析图像,如本文中所描述。
使用偏光滤光片、LED光源及偏光膜可致使摄像机捕获具有在620nm到650nm之间的波长的光。这些波长可对应于红光。因此,托盘可在红光设置下成像,这可提供由计算系统执行的更容易且更准确的图像分析。
图2描绘用于在仓库环境128中对物品进行概况分析的系统100的拍照隔间126的透视图。图2中描绘的拍照隔间126是实例性配置。可利用各种其它配置,如贯穿本公开所描述。拍照隔间126可由可在其它摄影背景中使用的深色材料(例如,布料)制成。深色材料可有利于防止周围光进入经封围区域及/或防止阻碍摄像机110A到N捕获清晰、均匀照明的托盘图像。
如图2的实例性配置中所展示,拍照隔间126可封围转台104周围的区域。隔间126可由两个壁126A及12B形成。壁126A可包含开口127,当托盘从输送带102移动到转台104上时,托盘可通过所述开口。壁126B可包含开口129,当托盘从转台104移动到下输送带106时,托盘通过所述开口。开口127及129可不被例如织物、塑料、挡板或门等材料覆盖。事实上,在一些实施方案中,开口127及129可经定大小以匹配可穿过拍照隔间126的最大托盘的垂直高度及宽度。开口127及129可以其它方式经定大小以匹配进入拍照隔间126的托盘的大小。因此,当托盘在转台104上旋转时,托盘的大小可阻挡可穿过开口127及129的任何光。在一些实施方案中,隔间126还可包含连接壁126A与126B的顶部部分。隔间126还可包含侧壁,使得隔间126可在转台104周围形成完全封围的区域,从而不允许周围光进入所述经封围区域。
在图2的实例中,垂直杆108可定位在壁126A与126B之间远离转台104的设定工作距离处。摄像机110A到N可沿着杆108垂直对准。此外,灯112A到N可沿着杆108垂直对准。灯112A到N可从摄像机110A到N偏移以减少或以其它方式避免摄像机110A到N的镜头中的眩光且在转台104上提供均匀的光照。
图3A是用于在仓库环境128中对物品进行概况分析的系统300的实例性配置的俯视图。在此实例中,下输送带包括带106A及106B。带106A可将托盘按特定路线发送到仓库128中的有组织的存储位置。带106B可将托盘按特定路线发送到仓库128中的临时存储位置。此外,在此实例性系统300中,拍照隔间126是转台104周围的完整外壳。隔间126具有侧面及顶部以防止周围光进入完整外壳。
所述隔间包含在转台104的中心之上并跨越所述中心定位的条134。所述条可包含一或多个顶置摄像机110A及一或多个顶置灯112A。顶置摄像机110A可经配置以在托盘于转台104上旋转时捕获所述托盘的顶部的图像。灯112A还可提供对托盘的顶部的均匀光照。垂直杆108(例如,框架、垂直定向的支撑结构)可包含一或多个摄像机110B到N及一或多个灯112B到N,以用于在托盘于转台104上旋转时捕获所述托盘的侧面的图像。如此实例中所描绘,摄像机110B到N及灯112B到N可安装到杆108且朝向转台104(以及当在转台104的顶部上时要被照明及成像的托盘)定向,从而致使摄像机110B到N及灯112B到N具有相同或类似的定向及视野/照明302。灯112B到N可以使得其与摄像机110B到N垂直及/或水平间隔开的布置安装到杆108,且可相对于摄像机110B到N以多种比率中的任一者设置(例如,每一摄像机周围可具有两个灯以从每一摄像机的视角提供均匀的光照)。如上所述,灯112A到N也可从摄像机110A到N偏移,以最小化或以其它方式避免摄像机110A到N的镜头中的眩光,如下文图3B到C中的实例中所描述。
图3B是用于在仓库环境128中对物品进行概况分析的系统310的另一实例性配置的俯视图。如上文所论述的其它实例一样,拍照隔间126可封围转台104周围的整个区域,且可包含提供转台104(以及摄像机110A到N及灯112A到N)周围的区域的完整外壳的顶部表面。此处,垂直杆108包含摄像机110A到C。灯112A到N可附接到单独垂直灯支撑结构109A到B(例如,杆、立柱、结构)且从具有摄像机110A到N的垂直杆108横向偏移。灯支撑结构109A到B也可以不同于杆108的角度及/或工作距离的角度及/或工作距离进行布置,这可致使摄像机110A到N具有不同于灯112A到N的照明场314A到B的视野312。实例性系统310可包含与上文关于图3A的描述类似的位于转台104之上的自上而下的摄像机及灯(未描绘)。通过将灯112A到N偏移以使照明场314A到B相对于转台104具有与摄像机110A到N的视野312不同的角度,系统310照明转台104,同时最小化摄像机110A到N的镜头中的眩光,这可增加由摄像机110A到N捕获的托盘图像的保真度及清晰度并因此增加由系统310执行的托盘概况分析的准确度。
图3C是用于在仓库环境中对物品进行概况分析的系统330的另一实例性配置的俯视图。系统330被描绘为具有拍照隔间126,但可使用不具有拍照隔间的系统330。系统330进一步包含安装在垂直杆108上的摄像机110A到N。摄像机110A到N可模块化地安装到垂直杆108,使得摄像机110A到N可在垂直杆108上进行上下及/或左右移动。改变摄像机定位可有利于适应摄像机110A到N的不同配置(即,不同视野)以及捕获不同大小的托盘的图像数据。举例来说,当较矮的托盘在转台104上旋转时,摄像机110A到N可在垂直杆108上一起移动得更靠近及/或在垂直杆108上移动得更低。作为另一实例,当较高的托盘在转台104上旋转时,摄像机110A到N可沿着杆108移动以在所述摄像机之间具有更大的垂直距离,使得托盘的顶部到底部可由摄像机110A到N捕获。安装于杆108上的摄像机110A到N的其它变化形式及/或配置也是可能的。
光照元件112A及112B以从摄像机110A到N偏移的角度定位。光照元件112A及112B中的每一者可分别安装到灯杆109A及109B,每一光照元件可包含一或多个个别光照单元(例如,一或多个灯条)。举例来说,两个垂直定向的灯条可安装到灯杆109A及109B中的每一者。在一些实施方案中,灯杆109A及109B中的一或多者可具有安装在其上的额外或更少灯条。每一杆109A及109B的灯元件的数量可基于多种因素中的任一者,例如摄像机设置、托盘122的大小、灯杆109A及109B与托盘122之间、彼此之间及/或与摄像机110A到N之间的一或多个距离,及/或灯杆109A及109B相对于托盘122的一或多个角度(下文进一步论述)。
虽然光照元件112A到B被展示为安装到杆109A到B,但所述光照元件可替代地安装到拍照隔间126的框架。
垂直杆108上的摄像机110A到N可定位在距托盘122的面向摄像机110A到N并被所述摄像机成像的前平面334距离D1(342)处。距离D1(342)可基于多种因素来选择,例如被成像的托盘122的预期大小范围(例如,高度、宽度)、垂直杆108上的摄像机110A到N的数量、与摄像机110A到N一起使用的摄像机镜头的类型及/或摄像机设置,例如摄像机110A到N的视野(FOV)336。摄像机110A到N可沿着垂直平面350朝向托盘122定向,所述垂直平面在转台104及/或托盘122的中点处或附近平分,且从转台104及/或托盘122沿基本上正交的方向延伸。FOV 336可沿着平面350定向且可具有角度θa,所述角度可结合距离D1来选择,以确保整个托盘122可由摄像机110A到N捕获。举例来说,垂直杆108可移动到不同距离D1以适应系统330的一或多个改变,例如摄像机110A到N被改变以及FOV 336的所得角度θa改变。
光照元件112A及112B中的每一者可定位在距托盘122的平面334距离D2(344)处。灯112A及112B还可定位在与摄像机110A到N的镜头对应的平面332前面的距离D3(346)处。在一些实例中,光照元件112A到B可定位于平面332后面,从而导致距离D2大于距离D1。光照元件112A到B中的每一者还可定位在远离摄像机110A到N及平面350并从所述摄像机及平面偏移的距离D4(348)处。灯112A及112B可沿着平面352A到B定向,所述平面不同于摄像机110A到N的平面350并以角度θb及θc(340A到B)从平面350偏移,所述角度对于光照元件112A到B中的每一者可为相同或不同的。举例来说,角度θb及θc可经选择以为摄像机110A到N提供充足照明,从而在拍照隔间126内可靠地捕获托盘122的清晰图像,同时最小化眩光。光照元件112A到B可具有沿着平面352A到B以角度θd及θe定向的照明场338A到B,光由光照元件112A到B跨越所述角度发射/投射。光照元件112A到B的定位及定向角度可从摄像机110A到N的位置及定向偏移(例如,偏移距离D3及D4,以及偏移角度θb及θc),这可有助于提高由摄像机110A到N捕获的图像的质量(例如,减少图像中的眩光)。光照元件112A到B可定位在摄像机110A到N的FOV 336的外部,且相对于托盘122而远离及定向,使得照明场338A到B个别地或共同地充分照明托盘122的整个宽度。举例来说,每一光照元件112A到B可经定位及定向,使得其各自跨越托盘122的整个宽度而投射光(基于所述光照元件的照明场338A到B)。在另一实例中,每一光照元件112A到B可经定位及定向以仅照明托盘122的宽度的一部分,使得其共同提供对托盘122的整个宽度的完全照明。基于光照元件112A到B的定向352A到B的偏移角度θb及θc(340A到B)可为0°与90°之间的多种角度中的任一者,例如15°、30°、45°、60°、75°、小于45°、大于45°、多种范围中的任一者(例如,1°到15°、15°到30°、30°到45°、45°到60°、60°到75°、75°到89°或其任何组合)及/或0°与90°之间的其它角度或范围。
光照元件112A到B可具有相同的照明场338A到B,以及跨越平面350及在所述平面的相对侧上反射的相同定位及定向。举例来说,对于灯112A及112B两者,距离D4可为等距的。在其它实例中,灯112A中的一者可具有不同的照明场338A、具有不同角度340A的不同定向352A,及/或可具有与另一灯112B相比远离及偏移摄像机110A到N的更短距离D3及/或D4。
距离D2与D3可为相等的。举例来说,灯112A及112B可与摄像机110A到N的平面332及托盘122的平面334等距。在一些实例中,距离D2可大于距离D3。在其它实例中,距离D3可大于距离D2。此外,如通篇所描述,灯112A及112B可容易地移动(例如,向后或向前)及/或以不同角度旋转。
光照元件112A到B在图3C中被描绘为定位在托盘122的宽度之外(即,距离D4大于托盘122的宽度的一半)(如在一侧上由平面358所指示),这可有助于增加所实现的角度340A到B且有助于减少由摄像机110A到N捕获的图像的潜在眩光。替代地,光照元件112A到B可定位在托盘122的周界/宽度处或其上(即,距离D4被设定为托盘122宽度的大约一半),及/或可定位在托盘122的周界/宽度的内部(即,距离D4小于托盘122的宽度的一半)。举例来说,光照元件112A到B在平面358处或其内部的此类调整可准许拍照隔间126的尺寸减小且更加紧凑。
拍照隔间126可包含开口360及362,托盘122可经由输送机102通过所述开口被接收到拍照隔间126中以用于成像,且在成像完成之后经由输送机106被运输出拍照隔间126。开口360及362可经定大小及定形状以便在阈值裕量(例如,5%尺寸裕量、10%尺寸裕量、20%尺寸裕量)内容纳托盘122的最大尺寸,以便最小化通过开口360及362接收到拍照隔间126中的周围光的量。另外,拍照隔间126相对于转台104、输送带102/106及开口360/362的尺寸及配置可经配置以最小化托盘122的边缘(平面358)与开口360/362之间的距离D5。通过最小化此距离D5,托盘122的面向开口360及362的侧面可用于阻挡大部分周围光,否则所述周围光将会被接收到拍照隔间126中且可干扰摄像机110A到N对托盘122的成像。在一些实例中,拍照隔间126可另外包含邻近于开口360及362的不透明遮光罩366及368,所述不透明遮光罩可基本上填充托盘122与开口360及362之间的空间(即,横跨距离D5的大部分、全部或更多),以进一步阻挡未被托盘122本身阻挡的周围光。遮光罩366/368可在拍照隔间126内延伸垂直跨度,例如托盘122的高度、拍照隔间126的全高度及/或其它垂直跨度。遮光罩366/368可经配置以阻挡周围光,而不干扰或以其它方式接触输送机102/106上的托盘122及/或转台104。遮光罩366/368可另外由非反射材料或颜色制成及/或涂覆,这可减少在图像捕获过程期间的无意光反射。
虽然开口360及362被展示为分别与输送机102及106重叠,使得转台104的整体被容纳在拍照隔间126内,但其它配置也是可能的,例如开口360及362的部分与转台104的部分重叠,同时仍准许托盘122的完整旋转,而开口360/362的壁与托盘122之间没有阻碍/接触。此配置可进一步减小距离D5且还减少经由开口360/362接收到拍照隔间126中的周围光。拍照隔间126在所描绘实例中被配置为在开口360及362处不具有门,这可通过不必等待与打开及关闭门相关联的延迟而帮助增加经由系统330的托盘的吞吐量,且还可通过减少潜在的故障点(例如,由于自动化门出故障/损坏引起的故障)而使系统330更稳健。然而,在一些实例中,拍照隔间126可经配置以在开口360及362处包含自动化门,所述自动化门可另外屏蔽周围光以免进入拍照隔间126。
图3C中还描绘实例性顶置摄像机370及顶置光照元件372A到B,其可安装到拍照隔间126的顶部表面/顶板并从所述顶部表面/顶板悬置。顶置摄像机370可被视为摄像机110A到N的一部分,且可在托盘122及/或转台104之上居中。虽然描绘一个顶置摄像机370,但可使用多于一个顶置摄像机并将其间隔开以便例如与安装到立柱108的摄像机110A到N一起覆盖托盘122的顶部表面。类似于相对于摄像机110A到N的摄像机112A到B,顶置光照元件372A到B可与摄像机370间隔开并从所述摄像机偏移。光照元件372A到B可安装到与摄像机370共同的安装结构,且可具有与摄像机370相同的距托盘122的顶部表面的距离及相同的定向。替代地,上文关于将光照元件112A到B定位及定向以从摄像机110A到N偏移的论述可适用于相对于顶置摄像机370的顶置光照元件372A到B。
多种光照元件及光照设置中的任一者可用于灯112A到B及372A到B。举例来说,灯112A到B及372A到B可经配置以发射可见光谱内的光,例如可见光谱内的单色光(即,波长在610nm到750nm之间的红光、波长在595nm到610nm之间的橙光、波长在580nm到595nm之间的黄光及/或其它)及/或组合多个不同波长的多色光(例如,组合来自可见光谱的光的“白色”光、其它多色光组合)。举例来说,灯112A到B及372A到B可经配置以发射波长大约为610nm、615nm、625nm、650nm、675nm、700nm、725nm、750nm的红光,及/或红光的其它变化形式。灯112A到B及372A到B可另外及/或替代地经配置以发射可见光谱之外的光,例如红外光(例如,波长在750nm以上)、紫外光(例如,在100nm与400nm之间)及/或不可见光谱的其它部分。灯112A到B及372A到B可以脉冲及/或频闪来发射光,这与由摄像机110A到N及370捕获的图像一致。举例来说,脉冲持续时间可包含例如50μs、100μs、200μs、250μs、500μs、750μs、1ms、2ms、5ms、25ms、50ms、100ms、500ms、750ms、0.01s、0.05s、0.10s、0.5s、0.75s、1.0s、1.5s及/或其它持续时间。由摄像机110A到N及370使用的快门速度可对应于(或者短于或长于)用于灯112A到B及372A到B的脉冲持续时间,例如与脉冲持续时间相同。摄像机110A到N及370可使用多种光圈设置中的任一者,例如f/2、f/4、f/6、f/8、f/12、f/16、f/22及/或其它光圈设置。光圈级数越大(即,“f/8”),光圈越小,进入摄像机的图像传感器中的光越少,且所捕获图像的景深越大(即,聚焦捕获的不同深度的物品越多)。对于较小的光圈级数,情况正好相反。可基于例如距离D1、D2、D3及D4以及灯112A及112B的角度340A及340B中的任何一或多者来选择光圈设置及/或快门速度,以可靠地捕获托盘122的清晰图像(即,托盘122的内容聚焦且不具有模糊/眩光的图像)。
摄像机110A到N可定位在远离托盘122及转台104至少阈值距离处,例如被定位成使得距离D1为至少0.5m、0.75m、1.0m、1.2m、1.4m、1.5m、1.7m、1.8m、2m及/或其它阈值距离。举例来说,此类较大距离可准许摄像机110A到N以摄像机设置(即,光圈、快门速度)来捕获托盘122的面向摄像机110A到N的整个表面的图像,所述摄像机设置提供跨越一组托盘的较大图像可靠性及可用性,所述托盘的大小、形状、组成、条件、材料及/或其它细节将会变化。举例来说,中级光圈(例如,f/6、f/8、f/11)可用于准许使用更快的快门速度(例如,μs、100μs、200μs、250μs、500μs),同时还捕获具有更大景深的图像(即,远离摄像机的更大范围的深度被聚焦捕获)。
对于可提供较好机器视觉及自动化分析的高对比度成像,灯112A到B及372A到B可利用单一波长(例如,红光而非白光)照明转台104及托盘122。举例来说,红色光照元件及/或红光滤光片可应用于灯112A到B及372A到B以拒绝除红色以外的所有其它波长,借此发射单色光,所述单色光可聚焦所关注的细节,例如标签、条形码及其它产品标识符。举例来说,此类红光可有利于避免可由于在塑料包装或托盘的其它部分以及其上的物品上反射的光照而出现的眩光,及/或去除原本将会干扰图像中的细节的周围光照。在一个实例中,灯112A到B及372A到B可为红色发光二极管(LED),所述红色LED具有多种配置中的任一者,例如长度为225mm、定位于远离转台104大约1.7m(例如,67英寸)处以及具有45度发射角、具有大约1.4m的光覆盖范围(照明场)。当发射角相对于摄像机110A到N及370的FOV足够锐利时,可避免或以其它方式减轻摄像机110A到C的镜头中的眩光。尽管偏光器可用于灯112A到B及372A到B及/或摄像机110A到N及/或370,但在灯112A到B及372A到B相对于摄像机110A到N及/或370的定向具有较大角度的情况下,可不需要所述偏光器。利用本文中所描述的配置,摄像机110A到C可使用多种镜头长度中的任一者(例如35mm镜头长度)及/或多种焦距中的任一者(例如f/4)。灯112A到B及372A到B也可为(举例来说)长度可大约为330mm的泛光灯。在一些配置中,r灯112A到B及372A到B可为放置于托盘120前面的频闪灯。摄像机110A到C也可具有偏光器及/或广角镜头。灯112A到B及372A到B可具有10dB增益及/或其它dB的增益。摄像机110A到N及370可被设定为多种曝光长度(例如,0.5s到5.0ms)中的任一者及/或利用带通滤光片(例如,600nm带通滤光片、630nm带通滤光片、800nm带通滤光片)。
带通滤光片也可应用于摄像机110A到N及/或370以减少由摄像机110A到N及/或370捕获的不同类型的波长。举例来说,对于高对比度成像技术(例如黑白成像技术),带通滤光片可为有利的。此类滤光片可为摄像机110A到N及/或370的传感器提供照明以捕获转台104上的托盘的更清晰、更锐利图像。偏光光学器件也可应用于灯112A到B及/或372A到B,及/或摄像机110A到N及/或370。偏光光学器件可帮助减少或消除来自托盘上的包装的眩光。偏光光学器件也可改进例如条形码等标签的对比度。
图3A到C中的系统300、310及330中的任何一或多者可经组合以执行本文中所描述的技术。此外,图3A到C描绘拍照隔间126的实例性配置。拍照隔间126可包含一或多个其它替代实施方案,如贯穿本公开所描述。
图4A描绘用于对物品进行概况分析的摄像机配置。在此实例中,结构400可具有分别在水平杆136A、136B及136C上对准的摄像机110A到C。两个灯可水平定位于摄像机110A到C中的每一者下面。在一些实施方案中,一个灯可水平定位于摄像机上面且一个灯可水平定位于摄像机下面。如所展示,灯112A到B水平定位于摄像机110A下面,灯112C到D水平定位于摄像机110B下面,且灯112E到F水平定位于摄像机110C下面。在一些实施方案中,灯112A到F可不在结构400上。替代地,如图4C到E中所描绘,灯112A到F可定位于与结构400分离的垂直杆结构上。此外,在一些实施方案中,灯112A到F可附接到拍照隔间结构的框架,所述框架可封围托盘被成像的区域,如本文中所描述。
摄像机110A到C可被设定为一或多种不同的配置。举例来说,可使用65MP摄像机。65MP摄像机可具有分辨率为9344x7000的65MP传感器。使用18mm镜头,摄像机可定位于远离转台1m(例如,工作距离)处。摄像机可具有1.661m x 1.244m的FOV,借此每0.5mm捕获托盘标签的2.81个像素。如果摄像机定位于1.5m远处,那么FOV可为2.491mx 1.244m。如果摄像机定位于1.7m远处,如贯穿本公开所描述,那么摄像机可具有2.823m x.2.115m的FOV,借此每0.5mm捕获托盘标签的1.65个像素。使用21mm镜头,摄像机可定位于远离转台2m处。FOV可为2.847m x 2.133m,借此每0.5mm捕获托盘标签的1.65个像素。
作为另一实例,可用127MP摄像机。127MP摄像机可有127.6MP传感器及13400x9528分辨率。因此,与65MP摄像机相比,此类摄像机可产生高分辨率图像及/或放置在距转台更远的工作距离处。使用55mm镜头,摄像机可定位于远离转台3.5m处。摄像机可具有2.941m x2.091m的FOV,借此每0.5mm捕获产品标签的2.28个像素。当摄像机定位于1.7m远处时,FOV可为1.47m x 1.05m,借此每0.5mm捕获产品标签的4.56个像素。使用21mm镜头,摄像机可定位于远离转台1.5m处。因此,摄像机可具有2.135m x 1.6m的FOV。当摄像机定位于2m远处时,FOV可为2.847m x 2.133m。因此,摄像机可每0.5mm捕获产品标签的1.65个像素。
图4B描绘用于对物品进行概况分析的摄像机配置。在杆108的此实例性配置中,三个摄像机110A、110B及110C可沿着杆108垂直定位。如本文中所描述,摄像机110A到C可在杆108上进行上下及/或左右移动。摄像机110A到C的放置可取决于杆108距本文中所描述的转台的工作距离。摄像机110A到C的放置也可取决于被成像的托盘的大小及/或一或多个单独光照结构的放置、定位及/或距离,如贯穿本公开所描述。杆108还可包含沿着垂直杆108垂直的灯条(例如,频闪灯)112A到B。如所展示,灯条112A可定位于摄像机110A与摄像机110B之间。灯条112B可定位于摄像机110B与摄像机110C之间。一或多个额外或更少的灯条可沿着垂直杆108定位。此外,如参考图4C到E所描述,一或多个灯条可沿着单独垂直杆定位,所述单独垂直杆可从摄像机110A到C偏移且定位于远离所述摄像机特定距离处。如图4B中所展示,灯112A到B可定位于摄像机110A到C周围以针对摄像机110A到C的FOV提供均匀的光照。
如参考图3C所描述,灯112A到F中的一或多者可为红灯。此外,如本文中所描述,红色滤光片或带通滤光片可应用于摄像机110A到C。
在一些实施方案中,摄像机110A到C中的一或多者可以特定角度倾斜。举例来说,摄像机110A到C中的一者可以30度角倾斜。摄像机110A到C中的一或多者或者全部可以90度角倾斜。在一些实施方案中,摄像机110A到C还可沿着垂直杆108定位于不同高度处。
在一些实施方案中,所述杆可仅具有两个摄像机110A到B。摄像机110A到B可具有65MP传感器。摄像机110A到B可具有1.375m x 1.22m的FOV,具有33mm镜头。当杆108被放置在距转台1.9m的工作距离处时,摄像机110A到B可具有1.6m×1.22m的FOV。来自此工作距离的托盘标签尺寸可为每0.5mm 2.86个像素。当杆108被放置在距转台1.7m的工作距离处时,摄像机110A到B可具有1.45m×1.09m的FOV。
图4C到E描绘用于对物品进行概况分析的另一摄像机及光照配置,其中图4C展示透视图、图4D展示前视图(从被成像的转台及/或托盘的视角)且图4E展示侧视图。在此实例中,垂直概况分析结构400(例如,通篇描述的垂直杆108)包含3个摄像机110A到C。摄像机110A到C可沿着水平安装结构136A到C安装,如参考图4A所描述。在此实例中,垂直灯安装结构410A到B(例如,通篇描述的灯杆109)可在距垂直概况分析结构400距离D3(346)及D4(348)处被定位及偏移,如上文关于图3C所描述。垂直结构410A到B可各自包含可沿着垂直结构410A到B垂直对准的两个灯条112A到112B及112C到D。在一些实施方案中,灯条112A到D可固定在沿着垂直结构410A到B的若干位置处,使得当托盘定位在转台104及/或输送机102/106的顶部上时,所述灯条横跨托盘的高度。因此,灯条112A到D可沿着最高托盘的整个垂直高度提供光。作为说明性实例,如果最大托盘是49英寸高,那么垂直结构可为48英寸到50英寸高,使得定位于其上的灯条112A到D可从托盘的顶部到底部提供均匀的光照。
图5A是用于使用本文中所描述的技术来对物品进行概况分析的过程500的框图。图5B是过程500的时间线501。过程500的一或多个框可由计算系统152执行。过程500还可由一或多个其它计算系统、计算机、服务器、远程服务器及/或计算装置执行。出于简单及说明性目的,从计算系统152的视角描述过程500。
参考图5A到B中的过程500,可在摄取位置504处摄取托盘(502)。如贯穿本公开所描述,可将托盘放置于上输送带102上。一旦摄取托盘(502),计算系统152便可启动时钟或定时器。时钟或定时器可在数秒内操作。在一些实施方案中,时钟或定时器可在数毫秒内操作。
对于输送带102的预定长度,托盘可处于缓冲位置506中。缓冲位置506可针对本文中所描述的一或多个组件提供时间窗口以进行复位及/或重新分配计算资源,使得所述组件可准备好对托盘进行概况分析。
在对准位置508处,可将托盘在输送带102上对准或以其它方式矫直。因此,托盘可在转台位置510处进入转台104,而不会在特定方向上成角度。对准装置(例如,参考图1)可沿着输送带102的侧面定位在对准位置508处。此类装置可将托盘在输送带102上对准或矫直。对准可在缓冲位置506之后、在t=10秒的时间开始。
一旦对准,托盘便可被按特定路线发送到转台104上。在转台位置510中,垂直杆108上的摄像机可在托盘旋转时捕获托盘的图像。托盘可在t=12秒时到达转台位置。此时,可拍摄托盘的顶部照片(522)。当托盘旋转时,可捕获托盘的不同侧面的额外照片。举例来说,在时间=14时,托盘可旋转30度且可拍摄托盘的第一侧面照片(524)。在t=17.6时,托盘可旋转120度且可拍摄第二侧面照片(526)。在t=21.2时,托盘可旋转210度且可拍摄第三侧面照片(528)。在t=24.8时,托盘可旋转300度且可拍摄第四侧面照片(530)。到t=27秒时,托盘可旋转完整的360度(532)。可将所捕获照片传输到计算系统152且在所捕获照片由计算系统152接收到时处理所述所捕获照片(534)。在一些实施方案中,一旦托盘的所有图像被捕获(例如,到t=27秒时,一旦托盘已完全旋转且托盘的每一侧面的图像已被捕获),便可处理图像。托盘的第一照片被处理的点可开始指示所述照片的处理时间的定时器。举例来说,如时间线501中所描绘,第一照片可在t=12秒时开始处理且可到t=80秒时完成处理。作为另一实例,可在t=24.8秒时开始处理最后的照片(例如,当照片被捕获时)且可到t=90秒时完成处理。可基于可用的计算资源以及处理能力在一或多个不同的时间帧中个别地及/或共同地完成对照片的处理。
应认识到,可在完整的旋转期间拍摄托盘的额外照片。还应认识到,可以不同的度数间隔拍摄照片。举例来说,可以30度间隔拍摄第一照片。然后,可以90度偏移捕获后续照片,直到托盘完成完整的旋转。作为另一实例,可以90度偏移捕获图像中的每一者,直到托盘完成完整的旋转。
仍参考图5A到B中的过程500,在托盘的照片被捕获及处理之后,可执行物理检查及打印与施加(512)。举例来说,托盘的物理检查可在t=32秒时开始。物理检查可由一或多个自动化仓库装置执行。所述装置可经配置以审查托盘并确保所述托盘可被安全地放置在仓库中的一定位置中。举例来说,所述装置可检查托盘的木板是否损坏及/或托盘是否具有倾斜度。损坏及/或倾斜度可包括在整个仓库中安全地移动托盘以及将托盘存储在其中的能力。
在一些实施方案中,物理检查可到t=39秒时完成。物理检查可需要更长或更短的时间,这取决于在物理检查期间被审查的托盘及/或物品的大小。此外,在t=39秒时,可开始预期处理第一照片的结果(536)。也可在t=39秒之前或之后的任何时间预期结果。
可在大约t=60秒时摄取另一托盘(538)。平均每分钟可摄取一个新的托盘(502)。在过程500中,可使用一或多个其它时间帧来摄取托盘并对此类托盘进行概况分析。
计算系统152还可在512中执行打印与施加过程。此过程可在稍后的时间(例如t=80秒)发生。举例来说,仅在计算系统152确定无法从被处理的照片识别托盘标签时,才可执行打印与施加过程。计算系统152因此可接收或确定条形码结果(540)。这可包含将图像处理技术应用于照片以确定是否可从照片中的任一者识别条形码或其它唯一标识符,例如本文中所描述的标签。
打印与施加过程可包含检查标签是否在托盘上的正确位置中,所述位置是仓库进行存储优选的或以其它方式需要的。因此,即使计算系统152可从图像识别标签,标签仍可在托盘上处于不期望的定位/位置中。因此,计算系统可打印所识别标签的副本且可将所打印的副本施加到托盘的所要正确位置中。标签可需要处于正确位置中以促进更快及更准确地扫描标签,从而识别托盘并在仓库中到处移动托盘。
如果标签被识别且其处于正确所要位置中,那么计算系统152可不必产生、打印及施加新的标签。另一方面,如果无法识别标签,那么计算系统152可自动产生标签作为占位符。可将所产生的标签分配给托盘、打印且然后自动贴附到托盘的正确所要位置中。可通过自动化仓库装置将标签贴附到托盘。
在t=90秒时,托盘可移动到决策点514。在决策点514处,计算系统152可确定可在仓库中将托盘按特定路线发送到何处。因此,计算系统152可确定托盘的存储位置(546)。计算系统152可基于与托盘相关联的接收信息(例如,来自WMS)或检索信息(例如,来自托盘概况数据存储装置)而确定存储位置(544)。所述信息可包含所有者信息、物品信息及代码日期。
此时,计算系统152可确定是否在照片中准确地识别标签。举例来说,如果标签被准确地识别且处于正确所要位置中或标签被准确地识别但不在正确所要位置中,那么计算系统152仍可确定标签被准确地识别。可将托盘按特定路线发送以继续沿着输送带106A存储(516)。因此,可将托盘存放(518)在有组织的存储位置中。此时,计算系统152可已经或可并未从照片识别出关于托盘的额外信息。计算系统152可在接收到托盘的照片、将托盘按特定路线发送到有组织的存储位置及/或一旦托盘被存储在有组织的存储位置处之间的任何时间识别额外信息。因此,即使尚未识别出关于托盘的额外特性,也可将托盘按特定路线发送到有组织的存储位置以便存放(516)。因此,仓库效率可改进且计算系统152可在其它托盘被摄取(502)时继续识别所述其它托盘。
可由计算系统152且基于所接收、存取或检索的托盘信息来选择有组织的存储位置(544)。举例来说,托盘信息可指示此同一所有者的所有托盘将被存储的特定存储位置。托盘信息还可指示托盘必须满足的存储条件(例如,托盘必须存储在冷藏区域中)。计算系统152还可使用托盘信息来自动确定托盘的最优存储位置(例如,关于托盘的高度信息可限制托盘可存储的位置,同时优化仓库中的可用空间)。
作为另一实例,如果标签未被准确地识别(例如,标签在托盘上,但无法从托盘的照片读取标签)或已针对托盘产生了标签作为占位符(例如,没有照片指示标签存在于托盘上),那么计算系统152可在决策点514处确定所述托盘被拒绝(520)。被拒绝的托盘是无法被按特定路线发送以存放(516)到有组织的存储位置的托盘。毕竟,不确定应该将托盘存储在仓库中的何处。可将托盘沿下输送带106B向下按特定路线发送到临时存储位置。如下文进一步所描述,一旦处于临时存储区中,托盘便可由仓库工作者手动检验以识别关于托盘的标签或其它特性,所述标签或其它特性然后可用于确定托盘的有组织的存储位置。一旦处于临时存储区中,仓库工作者便还可基于分析由计算系统152捕获及先前处理的照片而确定托盘的有组织的存储位置。在一些实施方案中,一旦处于临时存储区中,托盘便可由一或多个仓库装置自动检验。
在时间=90秒时,在t=60秒时被摄取的第二托盘可在转台104上完成完整的旋转(542)。在时间线501中的某个稍后的时间,计算系统152可确定何时不再捕获托盘的图像及/或不再摄取托盘(548)。计算系统152也可在此时停止时钟或定时器。如贯穿本公开所描述,可针对进入仓库的每一托盘执行过程500。
图6是用于对进入仓库环境的托盘进行概况分析的过程600的流程图。过程600中的一或多个框可由计算系统152执行。过程600也可由一或多个其它计算系统、计算机、服务器、远程服务器及/或计算装置执行。出于简单及说明性目的,从计算系统152的视角描述过程600。
参考过程600,在602中,可将托盘装载到输送带上。如本文中所描述,可将托盘自动或手动移动到输送带上。可通过人类工作者、铲车或仓库中的自动化装置将托盘放置在输送带上,所述自动化装置经配置以在仓库周围自动移动托盘。然后,在604中,可将托盘自动移动到转台。将托盘自动移动到转台可包含重新调整或矫直输送带上的托盘。
一旦托盘位于转台上,便可使托盘居中(606)。为了使托盘居中,计算系统152可在托盘被注入到转台上时接收托盘的图像数据。使用图像分析及处理技术,计算系统152可识别转台的中点且确定托盘是定位于中点处还是从中点偏移。使用机器学习及/或经训练模型,计算系统152可识别托盘距转台的中点多远以及托盘需要移动多少以在中点处居中。计算系统152然后可指示转台的组件(例如,辊子)自动重新调整转台上托盘的位置。
在606中使托盘120居中有利于确保本文中所描述的摄像机从统一的距离、角度及FOV捕获托盘的图像。因此,图像可更容易且准确地拼接在一起以用于识别托盘的标签并对托盘进行概况分析(例如,识别关于托盘的特性,例如损坏、倾斜度及尺寸)。
在使托盘居中之后,转台可旋转(608)。举例来说,计算系统152可指示转台以所要速度及/或方向旋转。旋转的速度及/或方向可为预定的且应用于被摄取的每个托盘。在一些实施方案中,速度及/或方向可被调整且至少部分地基于托盘的配置或其它托盘识别信息(例如,大小、重量等)。
随着转台旋转,可捕获托盘的图像数据(610)。在一些实施方案中,转台可不停止地连续旋转,使得可在沿着连续旋转的各种预定点处捕获图像。在一些实施方案中,转台可以增量旋转托盘(608)并停止,使得可捕获图像数据(610),然后再次旋转托盘(608)。608到610可循环直到托盘的所有侧面均由摄像机捕获。转台可以例如每15度、45度或90度等多种增量旋转。在一些实施方案中,旋转的增量可为一致的或其可为变化的。因此,如本文中所描述,可以预定的旋转间隔(例如,每30度、每90度、首先30度然后每90度)捕获图像,直到完成托盘的完整旋转。还可以预定的时间间隔(例如,每2秒、每5秒等)捕获图像。捕获图像的时间也可基于托盘在转台上被旋转的速度来确定。还可以一致或变化的旋转增量来捕获图像。举例来说,转台可最初旋转45度,图像可被捕获,且然后转台可旋转90度。有时,可动态地确定旋转。举例来说,可基于对每一所捕获图像的分析而确定旋转的增量(例如,参考612)。作为说明性实例,如果旋转的特定增量导致眩光出现在图像数据中,那么计算系统152可确定托盘应在任一方向上(例如,顺时针或逆时针)以5度的增量或某一其它标称量进行旋转。然后,可以5度旋转增量捕获额外图像及/或直到在图像数据中捕获到托盘的特定侧面或部分的足够好的图像。
在一些实施方案中,一些摄像机可经配置以在第一时间捕获托盘的图像,且其它摄像机可经配置以在第二时间捕获托盘的图像数据,其中第一时间与第二时间是不同的。可捕获托盘的每个侧面以及托盘的顶部及底部的图像。还可捕获托盘的每一侧面的多个图像。在一些实施方案中,仅可捕获托盘的每一侧面的一个图像。
当捕获到图像时,可将所述图像传输到计算系统152以进行处理。一旦托盘旋转了完整的360度及/或托盘的所有图像均被捕获,便还可将图像一起传输到计算系统152。
在612中,计算系统152可从图像识别托盘信息。可使用图像处理技术来识别或以其它方式检测关于托盘的信息。举例来说,可使用光学字符辨识(OCR)技术来识别托盘的标签或其它唯一标识符。一旦标签被识别,计算系统152便可确定关于托盘的其它信息,例如所有者信息、托盘的内容、托盘的存储位置、存储要求等。条形码检测技术也可用于识别托盘。机器学习算法、方法及经训练模型也可用于识别关于托盘的信息。如贯穿本公开所描述,在612中,计算系统152可至少识别托盘的标签。一旦被识别,标签便可用于确定托盘的存储位置。计算系统152可同时及/或稍后识别关于托盘的额外信息。
在614中,计算系统152可存取关于托盘的预先识别的信息。此信息可从由托运人或其它相关利益相关者填写的货单中检索。举例来说,此信息可包含在最近到达仓库的卡车的货单中。在一些实施方案中,此信息可从WMS及/或数据存储装置接收,如贯穿本公开所描述。预先识别的托盘信息可包含在托盘到达/递送到仓库之前被提供给仓库的信息。举例来说,可从供应商、客户、托运人或供应链中的其它相关利益相关者接收所述信息。在一些实施方案中,预先识别的托盘信息可为正被识别的特定托盘特有的。在一些实施方案中,预先识别的托盘信息可为通用的且适用于多种不同的托盘。多种不同的托盘可包含一些相同的特征。举例来说,托盘可含有不同类型的产品,但所述托盘可与同一客户代码相关联。因此,预先识别的托盘信息可包含客户代码。
计算系统152然后可将所识别的托盘信息与预先识别的托盘信息进行比较(616)。因此,计算系统152可使用预先识别的信息来过滤掉可能的识别或关于托盘的其它信息。计算系统152可将在612中针对托盘所识别的标签与预先识别的托盘信息(其可包含元数据)进行匹配。通过匹配所述信息,计算系统152可将托盘与托盘概况连结或以其它方式相关联,所述托盘概况被存储并用于识别及移动仓库中的托盘。计算系统152可任选地确定预先识别的托盘信息是否缺失在612中所识别的信息中的任一者。如果是,那么计算系统152可相应地更新预先识别的托盘信息。比较所述信息可有益于高效地产生托盘的更准确、最新的概况,而不需要人工干预或手动检验。
在618中,计算系统152可确定托盘信息与预先识别的信息之间的匹配。这可包含验证关于托盘的一或多个信息片段。举例来说,使用经机器学习训练模型,计算系统152可验证托盘的内容是预先识别的托盘信息所说的内容。计算系统152还可验证例如与托盘相关联的所有者、存储条件及/或存储位置等信息。
在一些实施方案中,计算系统152还可确定在612中所识别的信息的准确度。在匹配信息时,计算系统152可确定在识别托盘信息时的准确度水平是否超过阈值(例如,90%准确度)。举例来说,在计算系统152不能够从图像识别托盘的标签的情况下,准确度水平可为0%或小于预定阈值的值。计算系统152也可使用所述准确度水平来确定是可将托盘按特定路线发送到有组织的存储位置还是临时存储位置。如果托盘信息准确到高于预定阈值,那么可使托盘自动移动到有组织的存储位置。另一方面,如果托盘信息准确度未超过预定阈值(例如,无法从图像数据识别标签),那么可将托盘按特定路线发送到临时存储位置以用于进一步检验及审查。
此外,在一些实施方案中,如果准确度较低或托盘无法与预先识别的托盘信息匹配,那么计算系统152可任选地指示转台第二次旋转托盘。转台可在相反方向上及/或以不同的速度旋转。转台还可在同一方向上及/或以相同的速度旋转。可捕获托盘的一或多个不同图像。可基于新捕获的图像数据重复进行框612到618。在一些实施方案中,在612中,可通过将从第一次概况分析过程接收的图像数据与从第二次概况分析过程接收的图像数据进行组合及/或比较而识别托盘信息。如果在第二次概况分析过程之后,托盘信息准确度超过阈值,那么可将托盘移动到下输送带上以到达由托盘信息识别的有组织的存储位置。如果在第二次概况分析过程之后,托盘信息准确度未超过阈值,那么可将托盘按特定路线发送到下输送带上以到达临时存储位置。
图7是用于从托盘的图像数据识别托盘信息的过程700的流程图。过程700中的一或多个框可由计算系统152执行。过程700还可由一或多个其它计算系统、计算机、服务器、远程服务器及/或计算装置执行。出于简单及说明性目的,从计算系统152的视角描述过程700。
参考过程700,在702中,计算系统152可接收托盘的图像数据。在一些实施方案中,可在过程600期间执行过程700,此时正捕获托盘的图像并在捕获到图像时将所述图像传输到计算系统152。在一些实施方案中,如参考图5A到B所描述,可在对托盘进行概况分析的不同阶段期间执行过程700(例如,一旦所有图像均被捕获并传输到计算系统152、在物理检查及打印与施加512、决策点514期间、在时间t=12秒与t=90秒之间等)。
计算系统152可检索托盘的基于图像的模型(704)。如本文中所描述,基于图像的模型可存储在托盘概况数据存储装置中。模型还可存储在一或多个其它数据存储装置、数据库、云服务器或其它远程数据存储装置及/或服务器中。可使用机器学习技术来训练模型。模型可经训练以从图像数据识别托盘的不同特性。可使用不同的训练数据集来产生模型。还可使用实时执行的图像数据及分析来训练及/或改进模型以对不同的托盘进行概况分析。
在706中,计算系统152可将模型中的一或多者应用于托盘的图像数据。通过将模型应用于托盘的图像数据,计算系统152可在708中确定关于托盘的信息。举例来说,可识别托盘的标签(710)。可使用经机器学习训练模型及/或光学字符辨识(OCR)技术来识别标签。OCR技术还可用于检测托盘上可出现的任何文本。文本及/或标签可被进一步处理(例如,使用经机器学习训练模型)以识别关于托盘的额外信息,例如托盘名称、所有者信息及托盘的有组织的存储位置。
在712中,还可确定托盘的大小。由于图像数据是从统一的偏移度数(例如,90度)、高度及工作距离捕获的,因此计算系统152可更高效且准确地识别例如托盘高度、宽度、长度及/或深度等信息。举例来说,可训练机器学习模型来将指示背景的像素与指示托盘的像素进行区分及识别。计算系统152可使用已知的距离信息(例如工作距离)及指示托盘的像素来推断托盘的尺寸。举例来说,可通过对来自多个图像的像素进行三角测量来推断高度,其中那些像素表示托盘的侧面及顶部。
在714中,计算系统152还可识别对托盘的损坏。可使用机器学习来训练模型以识别损坏。举例来说,所述模型可接收具有损坏的托盘的图像及不具有损坏的托盘的图像。可对图像使用机器学习技术及算法来确定测试图像数据集中的特定特征指示损坏的概率。然后,可将此经训练模型应用于在702中接收的图像数据以识别损坏是否出现在托盘的图像数据中的任一者中。
类似地,可在716中识别托盘的倾斜度。可利用模型来识别托盘的倾斜度,所述模型是使用机器学习技术来训练的,如参考用于检测损坏的模型所描述。
可识别托盘的内容718。这可包含检索或以其它方式存取关于托盘的预先识别的信息,所述预先识别的信息可指示特定托盘的内容应是什么。机器学习技术还可用于确定托盘的内容。
此外,计算系统152可在720中确定托盘上的行数且在722中确定托盘上的盒子(例如,箱子)的数量。如本文中所描述,可使用经机器学习训练模型。举例来说,所述模型可用于对托盘上的行数以及托盘上盒子的总数进行计数。
可以组合方式执行712到722中的任一者。在一些实例中,可仅执行712到722中的一者或少于全部。此外,可以任何次序执行712到722。
仍参考过程700,计算系统152可存储关于托盘的所确定信息(724)。可将所述信息存储在与托盘相关联的概况中。可基于托盘的所识别标签或其它唯一标识符来进行所述关联。如参考图5A到B所提及,如果无法识别托盘的标签,那么可针对所述托盘产生占位符标签。然后,可将所述占位符标签与托盘的新概况连结或相关联,所述新概况可填充有由计算系统自动确定及/或由仓库工作者手动确定的托盘信息。
还可将所确定的托盘信息发送到本文中所描述的WMS(726)。WMS可相应地用在708到722中由计算系统152确定的信息来更新托盘概况。WMS还可使用所确定的托盘信息来移动仓库中的托盘或者对与此托盘相关联的供应链的移动、存储或其它方面进行其它修改。在一些实施方案中,计算系统152可更新托盘概况信息且然后将所更新托盘概况传输到WMS。
图8是用于在仓库环境中对托盘进行概况分析及存储的过程800的泳道图。参考图1中的系统100描述过程800。过程800的一或多个框可由计算系统152执行。过程800的一或多个框还可由其它计算系统、服务器及/或计算装置(例如WMS154)执行。
参考过程800,在802中,计算系统152可接收托盘的图像数据,如贯穿本公开所描述。然后,在804中,计算系统152可对托盘进行概况分析(例如,参考图6到7)。基于托盘概况分析,计算系统152可确定托盘标签是否是可识别的(806)。举例来说,计算系统152可确定无法从图像数据清楚地识别标签。作为另一实例,计算系统152可确定可清楚地识别标签。
如果在806中标签是可识别的,那么在808中,计算系统152可向WMS154传输通知以确定托盘的存储位置。WMS154可使用本文中所描述的技术来确定存储位置。举例来说,WMS154可存取数据存储装置以确定所识别的托盘可被存储在何处(例如,基于客户代码、所识别的所有者等)。WMS154可产生控制指令以使托盘自动移动到所识别的存储位置。在一些实施方案中,计算系统152可确定托盘的存储位置。此外,计算系统152及/或WMS154可确定控制指令,所述控制指令可用于将托盘沿着仓库中的一或多个输送带自动地按特定路线发送到所确定的存储位置。
如果在806中标签是不可识别的,那么计算系统152可向WMS154传输需要进一步识别的通知(810)。如本文中所描述,由于托盘的标签不可经由804中的图像分析及处理来识别,因此可需要额外识别。举例来说,WMS154可使用所存储信息、预先识别的托盘信息、货单及/或来自供应链中相关利益相关者的信息来识别托盘。
基于810中的通知,WMS154还可产生控制指令,所述控制指令可用于将托盘沿着仓库中的一或多个输送带自动地按特定路线发送到临时存储位置。托盘可被保持在临时存储区中直到其可由WMS154及/或由仓库工作者识别。举例来说,如本文中所描述,计算系统152及/或WMS154可向仓库工作者的用户装置(例如,用户装置156)提供托盘的图像数据。用户装置可在图形用户接口(GUI)显示器上输出图像数据。仓库工作者然后可审查图像数据及/或手动检验临时存储位置中的托盘,以便识别关于托盘的一或多个特征或信息。
在一些实施方案中且如参考图5A到B所描述,当在806中无法识别托盘时,计算系统152及/或WMS154可针对所述托盘产生占位符标签。在810中,可将占位符标签传输到WMS154及/或仓库工作者的装置。仓库工作者可使用占位符标签在临时存储位置中定位托盘。仓库工作者然后可审查托盘、依据手动检验识别关于托盘的信息且将所识别信息作为输入提供到用户装置。然后,可由计算系统152及/或WMS154与占位符标签相关联地存储所识别信息。因此,占位符标签可成为仓库中的托盘的唯一标识符。可将所收集或确定的关于托盘的信息连结或以其它方式关联到占位符标签。
如贯穿本公开所描述,可针对进入仓库的每一托盘及/或被摄取及概况分析的每一托盘重复进行过程800。此外,在一些实施方案中,在第二托盘的过程800开始之前,第一托盘的过程800可并未结束(例如,参考图5B)。在第一托盘的过程800仍在执行的同时开始第二托盘的过程800可有利于最大化吞吐量及维持仓库效率。作为实例,在过程800期间,用户装置156处的仓库工作者可正在识别第一托盘,同时在804中,计算系统152可正在对第二托盘进行概况分析。如上所述,同时对多个托盘执行过程800可有利于改进仓库效率且将托盘移动到其指定的有组织的存储位置以避免仓库中的瓶颈或其它阻塞。
图9是用于确定经概况分析托盘的存储位置的过程900的泳道图。参考图1中的系统100来描述过程900。过程900的一或多个框可由计算系统152、WMS154及用户装置156执行。过程900的一或多个框可由其它计算系统、服务器及/或计算装置执行。
参考过程900,在902中,计算系统152可接收托盘的图像数据,如贯穿本公开所描述。计算系统152然后可使用图像数据对托盘进行概况分析(904)(例如,参考图6到8)。一旦进行概况分析,计算系统152便可确定是否可准确地识别托盘(906)。如本文中所描述,至少,计算系统152可确定托盘上的标签是否被识别。计算系统152还可确定是否可识别可用于存储托盘的关于托盘的任何识别信息。
如果可准确地识别托盘,那么可将关于在概况分析期间被识别的托盘的信息传输到WMS154(908)。举例来说,计算系统152可确定图像数据包含标签的清晰捕获。使用图像处理技术及分析,计算系统152可因此检测标签并依据所述标签确定关于托盘的信息,例如所有者及存储要求/信息。传输到WMS154的信息可包含图像数据、标签的清晰捕获以及从分析图像数据中的标签的计算系统152识别的信息。在一些实施方案中,计算系统152可仅确定图像数据包含标签的清晰捕获,但计算系统152可不对标签的清晰捕获执行图像分析技术。而是,计算系统152可将标签的清晰捕获传输到WMS154且WMS154可对清晰捕获执行图像分析技术以识别关于托盘的信息。
在910中,WMS154可接收托盘信息。WMS154可基于托盘信息而确定托盘的最优存储位置(912)。托盘信息可包含所有者、物品类型/名称及标签。WMS154还可基于其它信息而确定最优有组织的存储位置。作为实例,计算系统152可通过分析标签的清晰捕获而按照托盘的所有者识别托盘。可将所有者名称/标识符传递到WMS154。WMS154可在可存储关于仓库客户的信息的数据存储装置中查找所有者。关于所有者的所存储信息可指示所述所有者的托盘存储在何处及/或必须满足何种存储条件。使用此信息,WMS 154可确定应将托盘按特定路线发送到哪个有组织的存储位置。
返回参考906,如果无法准确地识别托盘,那么计算系统152可将托盘识别为不可识别的(914)。计算系统152可标记与所述托盘相关联的图像数据。如本文中所描述,当计算系统152无法识别托盘上的任何标签及/或托盘具有标签但图像数据不包含可用于准确图像分析的标签的清晰捕获时,计算系统152可将托盘标记为不可识别的。当托盘被标记时,计算系统152还可指示托盘是否具有标签。此指示可使仓库工作者更容易且更快地确定其在托盘的手动检验期间需要查找什么。
当托盘无法由计算系统152识别时,在916中,计算系统152可将托盘图像数据传输到WMS154。在918中,WMS154可接收托盘图像数据。在920中,WMS154可将托盘按特定路线发送到临时存储位置。举例来说,计算系统152可指示WMS154将托盘按特定路线发送到临时存储区。在一些实施方案中,WMS154可确定由于托盘被标记为未识别,因此所述托盘可被自动地按特定路线发送到临时存储位置。在一些实施方案中,计算系统152可指示托盘被按特定路线发送到临时存储位置。一旦处于临时存储区中,托盘便可被放入队列中以供仓库工作者审查。
WMS154然后可将托盘图像数据传输到用户装置156(922)。在924中,用户装置156可接收托盘图像数据。在926中,用户装置156然后可输出图像数据。在926中,用户装置156还可接收识别托盘的用户输入。在一些实施方案中,如通篇所描述,仓库工作者可在用户装置156处手动检验及分析图像数据(例如,参考图8)。此外,仓库工作者可手动检验托盘并向用户装置156提供关于仓库工作者在托盘上所识别的一或多个特征的输入。举例来说,如果图像中的标签模糊,那么仓库工作者可查看实际托盘并识别条形码(例如,通过扫描标签、拍摄标签的另一照片及/或将标签信息输入到用户装置156中)。
在928中,用户装置156然后可将托盘的用户识别传输到WMS154。使用托盘的用户识别,WMS154可确定托盘的存储位置(例如,有组织的存储位置)(928),如贯穿本公开所描述。此外,如通篇所描述,WMS154及/或计算系统152然后可执行指令,所述指令致使托盘被移动到所确定的有组织的存储位置。
图10是描绘可经配置以执行本文中所描述的任何技术的系统组件的系统图。所述系统可包含经由网络150进行数据通信的计算系统152、WMS154、用户装置156及托盘概况数据存储装置158。在一些实施方案中,此类系统组件中的一或多者可为一个计算机、计算系统、服务器、远程服务器、服务器节点及/或装置。举例来说,计算系统152及WMS 154可为同一计算系统的一部分。
计算系统152可经配置以在托盘进入仓库时对所述托盘进行概况分析,如贯穿本公开所描述。计算系统152可包含托盘概况分析控制器1002、图像分析模块1004、托盘路线确定器1006、托盘匹配确定器1008、托盘概况验证模块1010、通信接口1012、托盘概况分析器1014及存储位置确定引擎1074。在一些实施方案中,计算系统152可为一或多个其它组件及/或系统(例如WMS154、仓库控制系统(WCS)1080及/或云计算系统1082)的组合。在一些实施方案中,计算系统152的组件中的一或多者可为例如WMS154、WCS 1080及/或云计算系统1082等其它系统的一部分。举例来说,托盘概况分析控制器1002可为WCS1080的一部分。WCS1080可经配置以控制仓库中的物理组件(例如输送带、摄像机及转台),且确定仓库中的哪些组件执行特定功能。作为另一实例,托盘概况分析器1014可为云计算系统1082的一部分。云计算系统1082可经配置以执行图像数据的处理以确定关于经扫描托盘的信息。
参考计算系统152,托盘概况分析控制器1002可经配置以控制用于按特定路线发送托盘及捕获托盘图像的组件的操作。控制器1002可包含一或多个摄像机1016(例如,通篇描述的摄像机110A到N)、控制器1018、转台1020、一或多个输送带1024(例如,通篇描述的上输送带102及下输送带106)、一或多个灯1026(例如,通篇描述的灯112A到N)、通信接口1028、托盘居中模块1030及转台旋转器模块1032。通信接口1028可为控制器1002提供与本文中所描述的系统、装置及组件中的一或多者的通信。托盘概况分析控制器1002可用于控制摄像机1016、转台1020、输送带1024及灯1026。
用于控制这些组件的指令可由托盘概况分析控制器1002的控制器1018执行。举例来说,由控制器1018执行的指令可引起转台1020的自动旋转、接通/关断灯1026、减慢/加速输送带1024以及在托盘于转台1020上旋转时提示摄像机1016捕获所述托盘的图像。作为说明性实例,控制器1002可选择性地接通或关断摄像机1016中的一或多者。此确定可基于是否可从托盘的一或多个图像中清楚地识别托盘的特征。作为另一说明性实例,控制器1002可关断顶置灯1026及/或增加照明托盘侧面而非托盘顶部的灯1026的亮度。控制器1002还可接通及关断红灯,所述红灯可用于或不可用于被概况分析的每个托盘(例如,红灯可用于被包装在玻璃纸或另一材料中的托盘,所述玻璃纸或另一材料可在摄像机1016镜头中导致眩光)。作为又一说明性实例,控制器1002可控制输送带1024以将托盘按特定路线发送到有组织的存储位置或临时存储位置。
仍参考控制器1002,托盘居中模块1030可经配置以将托盘居中在转台1020的中点处,如贯穿本公开所描述。托盘居中模块1030还可经配置以当托盘在上输送带1024上被自动移动到转台1020时指示带1024的对准装置对托盘进行对准及调整。
如本文中所描述,转台旋转器模块1032可经配置以确定转台1020的旋转度数、旋转速度及/或旋转方向。模块1032可确定何时开始转台1020的旋转。举例来说,模块1032可确定转台1020可保持静止,直到托盘被检测到居中于转台1020上及/或以其它方式位于所述转台上。定位于转台1020的表面上的一或多个传感器可感测托盘的重量以识别托盘何时位于转台1020上。在一些实施方案中,模块1032可确定转台1020可连续旋转,而不管托盘是否位于转台1020上。模块1032可向控制器1018发送指令来调整转台1020的移动/旋转。
模块1032还可至少部分地基于托盘的大小及关于托盘的任何预先识别的信息而确定旋转度数。举例来说,模块1032可确定转台1020应以较小的旋转度数(例如,较慢旋转)进行旋转,使得摄像机1016可更准确地捕获较大托盘的整个表面区域的图像。举例来说,对于具有较小表面区域的托盘,可使用较大的旋转度数(例如,较快旋转)。
模块1032可至少部分地基于从一或多个传感器接收托盘的重量、托盘的大小及预先识别的信息的指示而调节转台1020的旋转速度。举例来说,较大托盘可需要转台1020以比大托盘一半大小的托盘更慢的速度移动,这是因为存在更多表面区域要由摄像机1016捕获。在一些实施方案中,以较慢速度旋转托盘可有利于捕获可拼接在一起的更多托盘图像。当摄像机1016是低分辨率摄像机时,较慢速度可有利于确保图像不模糊。当摄像机1016是高分辨率摄像机时,模块1032可确定旋转转台1020的较快速度。毕竟,尽管速度较快,但较高分辨率摄像机1016仍可捕获更锐利的图像。较快的旋转速度也可有利于增加效率并减少在对进入仓库的托盘进行概况分析时所需的时间。
图像分析模块1004可经配置以接收由摄像机1016捕获的图像数据。模块1004可对此图像数据执行图像分析技术以识别关于托盘的信息。如本文中所描述,在概况分析过程期间,模块1004可至少从图像数据检测产品标签或其它唯一标识符。可使用一或多个机器学习模型来训练模块1004以从图像数据识别不同类型的标签。模块1004还可经配置以执行对象检测技术及光学字符辨识(OCR),以不仅检测标签且还确定与标签相关联的信息。使用类似技术,模块1004可确定托盘上的文本及关于托盘的任何其它识别特性。举例来说,如本文中所描述,模块1004可使用经机器学习训练模型来从图像数据检测托盘的不同特征。此类模型中的一或多者可用于检测内容的损坏、倾斜度、高度、重量、尺寸、内容、托盘的损坏、内容的温度、文本等。由图像分析模块1004识别的信息可被传输到托盘概况数据存储装置158并存储在与托盘相关联的概况中,如下文进一步所描述。
托盘路线确定器1006可确定在图像被捕获之后可将托盘移动到何处。确定器1006可从图像分析模块1004接收所识别信息。使用所述信息,确定器1006可确定是应将托盘移动到有组织的存储位置还是临时存储区。如果应将托盘移动到有组织的存储区,那么确定器1006可基于来自图像分析模块1004的信息而确定有组织的存储区中的特定位置。确定器1006还可从托盘概况数据存储装置158存取关于托盘的预先识别的信息以确定在有组织的存储区中的何处存储托盘。一旦确定器1006识别出在何处存储托盘,确定器1006便可产生用于按特定路线发送托盘的指令。然后,可将指令传输到托盘概况分析控制器1002并由控制器1018执行。
托盘匹配确定器1008可经配置以将由图像分析模块1004识别的信息与相关联于托盘的预先识别的信息进行匹配。举例来说,在托盘到达仓库之前,确定器1008可从供应商接收指示关于托盘的特性的信息。确定器1008可将此信息与托盘概况数据存储装置158中的托盘概况相关联。确定器1008还可将此信息与由图像分析模块1004确定的信息相关联。
在一些实施方案中,确定器1008可使用由模块1004识别的信息来识别已存储在托盘概况数据存储装置158中的托盘的概况。一旦识别出概况,确定器1008便可用由图像分析模块1004识别的信息来更新概况中的任何信息。
在一些实施方案中,确定器1008可识别出当前不存在针对托盘的概况或者概况无法与托盘匹配。在此类情况下,确定器1008可产生针对所述托盘的概况并将所识别信息存储在所述概况中(例如,参考贯穿本公开所描述的占位符标签,图5到8)。
托盘概况验证模块1010可经配置以确定由图像分析模块1004识别的信息的准确度。托盘概况验证模块1010可接收预先识别的托盘信息(例如,从所有者、供应商或供应链中的其它相关利益相关者接收)、由仓库工作者在托盘的手动检验期间识别的信息以及由图像分析模块1004识别的信息。使用此信息,模块1010可确定准确/最新的信息是否存储在与托盘相关联的概况中。模块1010可对信息进行比较且确定信息的准确度置信度值并将其指派给所述信息。如果托盘概况含有其准确度置信度值低于预定阈值的信息(例如,供应商信息指示无损坏,但图像分析模块1004识别出损坏),那么模块1010可标记所述托盘以供仓库工作者审查。
通信接口1012可经配置以经由网络150提供计算系统152与其它系统、装置及组件的通信。
仍参考计算系统152,托盘概况分析器1014可经配置以确定关于托盘的可影响托盘存储的一或多个特性。托盘概况分析器1014可使用由摄像机1016捕获的图像数据来做出此类确定。此外,托盘概况分析器1014可使用经机器学习训练模型来做出此类确定,如贯穿本公开所描述。分析器1014可包含损坏检测器1034、配置检测器1036及内容检测器1038。
损坏检测器1034可经配置以使用贯穿本公开所描述的技术、方法及过程从图像数据识别任何损坏指示。检测器1034还可经配置以识别盒子、容器或其它物品预期位于托盘上的任何间隙及/或空隙。此类间隙/空隙可指示丢失及/或损坏的物品。在运输到仓库时,托盘或其内容可发生损坏。托盘本身可发生损坏(例如,破损的甲板、扭曲的木质框架等)。堆叠在托盘上的一或多个物品也可发生损坏。检测器1034可经训练以识别图像数据中指示不同类型的损坏的特征。此类检测技术可有利于减少人为错误,这是因为对人来说,准确地识别托盘及/或其内容可发生的所有类型的损坏是具有挑战性及/或耗时的。
配置检测器1036可经配置以从图像数据及/或由图像分析模块1004确定的信息来确定关于托盘的配置信息。检测器1036可使用本文中所描述的技术来确定托盘的大小(例如,长度、高度及宽度)。检测器1036还可经训练以确定托盘的倾斜度、托盘上物品的层数或行数以及托盘上物品的数量。检测器1036可应用经机器学习训练模型来做出这些确定中的每一者。
内容检测器1038可经配置以从图像数据及/或由图像分析模块1004确定的信息来确定关于托盘的内容信息。在一些实施方案中,检测器1038可确定托盘上有多少盒子或物品(例如,盒子计数)。检测器1038可至少部分地基于由损坏检测器1034及/或配置检测器1036识别的信息而做出此确定。在一些实施方案中,内容产生器1038可确定何种物品/对象存储在托盘上。产生器1038还可使用来自模块1004的所识别信息及关于托盘的预先识别的信息来确认、验证或以其它方式确定何种物品位于托盘上及/或何种物品应位于托盘上。在一些实施方案中,内容产生器1038还可识别及翻译与托盘及/或托盘上的个别物品相关联的文本、条形码、QR码及/或其它唯一标识符。
存储位置确定引擎1074可经配置以确定在仓库中的何处存储托盘。引擎1074可使用本文中所描述的技术自动做出此确定。然后,所确定的存储位置可被传输到WMS154。在一些实施方案中,计算系统152可不具有存储位置确定引擎1074。而是,存储位置可由WMS154来确定,如下文所描述。
然后,由计算系统152确定及/或识别的托盘信息可存储在托盘概况数据存储装置158中。数据存储装置158可包含针对进入仓库的托盘1040A到N中的每一者的数据记录。
实例性托盘概况1040A到N可包含图像数据1042、损坏1044、盒子计数1046、倾斜度1048、大小1050、层1052、内容1054、文本1056及标签1058。信息1042到1058中的每一者均可由计算系统152的一或多个组件来确定。信息1042到1058中的一或多者还可由用户装置156处的仓库工作者、WMS154及/或供应链中的任何其它相关利益相关者(例如,供应商、所有者、客户等)来确定。
在一些实施方案中,计算系统152可在托盘概况1040A到N中存储少于由摄像机1016捕获的所有图像。举例来说,可在图像数据1042中存储清晰捕获托盘的标签的图像。可丢弃所述托盘的其它图像。有时,托盘的图像可由供应链中的一或多者利益相关者捕获。此类图像可存储在图像数据1042中。计算系统152的图像分析模块1004然后可存取此类图像并执行图像分析技术以识别关于托盘的信息。当不可从图像数据1042中清楚地识别托盘的标签时,可将所有捕获的图像存储在图像数据1042中,使得仓库工作者可分析图像以识别关于托盘的信息。如果工作者可从图像准确地识别关于托盘的信息,那么可将图像中的一或多者保存在图像数据1042中且可丢弃其它图像(例如,模糊图像)。在一些实施方案中,如果工作者无法从图像识别信息但可经由托盘的手动检验来识别信息,那么可从图像数据1042中丢弃所有的图像。
WMS154可包含存储位置确定器1060及通信接口1062。WMS154可经配置以管理关于仓库及仓库组件的信息以及其操作。在一些实施方案中,如上所述,WMS154可为计算系统152、WCS1080及/或云计算系统1082的一部分。在一些实施方案中,WMS154可包含WCS1080、云计算系统1082及/或自动化应用编程接口(API)1061。通信接口1062可经配置以提供在本文中所描述的组件之间的通信。
存储位置确定器1060可经配置以识别托盘的存储位置。如贯穿本公开所描述,确定器1060可识别是可将托盘存储在临时存储位置还是有组织的存储位置中。确定器1060还可识别有组织的存储位置中的哪一存储位置来存储托盘。在一些实施方案中,确定器1060还可产生用于将托盘按特定路线发送到所识别的存储位置的指令。确定器1060可将所识别的存储位置及/或指令传递到托盘概况分析控制器1002以供由控制器1018执行。
确定器1060可接收托盘信息1046A到N,所述托盘信息可用于确定托盘的最优存储位置。所接收的托盘信息1046A到N可包含存储位置1066、标签1068及所有者1070。
托盘概况1040A到N有时可指示特定类型及/或所有者的托盘应存储在何处(例如,存储位置1066)。确定器1060可使用此信息来向托盘指定或指派在仓库中的特定有组织的存储位置。确定器1060还可将存储位置1066更新为针对所述托盘选择的有组织的存储位置。此外,标签1068及/或所有者1070可包含用于存储特定托盘的要求或其它规范。此信息还可用于在仓库中针对托盘选择特定有组织的存储位置。
用户装置156可由仓库工作者使用以审查关于托盘的所识别信息及/或识别关于托盘的信息。用户装置156可为计算系统、计算装置、计算机、膝上型计算机、平板计算机、智能电话、移动电话或其它类似的移动装置。使用用户装置156,用户可查看由计算系统152识别的关于托盘的信息。使用用户装置156,仓库工作者可例如验证由计算系统152识别的信息。仓库工作者还可将由计算系统152识别的信息与存储在托盘概况1040A到N中的信息进行匹配。仓库工作者可识别计算系统152未识别的信息(例如,计算系统152遗漏或以其它方式未尝试识别损坏或盒子计数)及/或计算系统152不能识别的信息(例如,由于图像数据模糊,因此计算系统152试图但未能识别托盘的标签)。
用户装置156可包含托盘图像数据分析接口1072及通信接口1076。通信接口1076可提供本文中所描述的组件中的任何者之间的通信。
托盘图像数据分析接口1072可经配置以呈现由摄像机1016捕获的图像数据。接口1072还可呈现由计算系统152识别的关于托盘的信息及/或关于托盘的任何已知信息(例如,存储在托盘概况数据存储装置158中及/或由WMS154、WCS1080及/或云计算系统1082确定的信息)。仓库工作者可审查图像数据且尝试从此数据识别关于托盘的信息。举例来说,仓库工作者可向接口1072提供输入,所述输入包含仓库工作者在手动调查托盘时及/或通过查看接口1072中呈现的图像数据进行的视觉观察。
在一些实施方案中,接口1072可包含图像数据上的标识或旗标,以帮助仓库工作者更高效地检验托盘(例如,经由托盘的手动检验)。举例来说,接口1072可在托盘的标签所在的侧面的模糊图像上呈现旗标。然后,仓库工作者可基于所标记图像而更快地确定要手动检验托盘的哪一侧面。
图11A到B是用于对托盘进行概况分析的实例性过程1100的泳道图。参考贯穿本文件所描述的系统(例如上文关于图1所描述的系统100及上文关于图10所描述的系统1000)来描述过程1100。过程1100的一或多个框可由计算系统152、WMS154及托盘概况分析控制器1002执行。过程1100的一或多个框可由其它计算系统、服务器及/或计算装置(例如贯穿本文件所描述的那些)执行。
参考图11A,WMS154指导对托盘(例如在仓库处接收的且尚未被概况分析的托盘)的概况分析(1102)。为此,WMS154可指导托盘概况分析控制器1002来控制输送机将托盘运输到托盘概况分析器(1104),这可包含将托盘在输送机上居中、将托盘移动到转台上以及将托盘在转台上居中以准备好执行扫描。WMS154可获得由计算系统152产生(1108)的针对托盘的交易ID(1106),计算系统152可使用所述交易ID来临时识别托盘及针对所述托盘确定的信息,WMS154可使用所述信息来最终对所述托盘进行识别及概况分析。WMS154可检索候选托盘信息(1110),例如来自已在仓库处卸载的入站卡车的托盘货单。在托盘的货单上提供的信息可跨越不同的提供商及承运商而显著地变化,从简单地列出针对个别sku提供的托盘数量到关于与每一托盘相关联的唯一标识符的更详细信息、托盘上所含有的特定物品的识别(例如,包含在托盘中的每一sku的箱子数量的列表)、托盘内容的日期信息(例如,每一箱子的日期、包含在托盘中的箱子批次的日期)及/或其它细节。托盘概况分析可尝试将个别托盘与针对所述托盘的预先存在的信息(例如,货单信息)配对,以补充或进一步充实预先存在的信息(例如,填充未知的细节,例如包含在托盘中的箱子的到期信息),且校正在预先存在的托盘信息中所包含的任何不准确或以其它方式不正确的信息。
WMS145可起始对托盘的托盘扫描(1112),这可包含指导托盘概况分析控制器1002起始扫描。托盘概况分析控制器1002可控制转台以针对第一次扫描对托盘进行定位及定向(1114)。如贯穿本文件所论述,这可包含将托盘在转台104上居中并将所述托盘定位,使得托盘的第一侧面垂直于附接到垂直杆108的摄像机110A到D的定向。其它初始定向也是可能的,例如使第一侧面从垂直歪斜某一旋转度数,例如15°、20°、30°、45°、60°、85°及/或其它旋转度数。随着托盘被定位,控制器1002可控制灯及摄像机的操作(1116),例如向灯及摄像机发送协调且同步的控制指令以起始对第一组图像的捕获。举例来说,第一组图像可包含由摄像机110A到D捕获的托盘正面的多个图像及由顶置摄像机110N捕获的托盘顶部表面的一或多个图像。图像可由摄像机捕获并由计算系统152接收(1118),所述计算系统然后可确定是否需要更多扫描(1120)。关于更多扫描的确定可为静态确定,其可涉及前进通过静态数量的托盘位置及图像组捕获(例如,托盘的四个侧面中的每一者一组图像且托盘的顶部一组图像)。对于静态确定,所述确定可涉及简单地确定预定托盘位置中的每一者是否已被成像(例如,每一侧面一组图像,每旋转45度间隔一组托盘图像),并且如果并非所有的位置均已被成像,那么可将进程中的下一个位置引导到控制器1002,所述控制器然后可致使步骤1114到1120被重复。
在一些实例中,关于更多扫描的确定(1120)可为动态的,这可涉及(举例来说)对最近捕获的图像执行初始及快速评估以确定其是否可用于图像分析。在图像不具有根据一或多个图像质量度量的至少阈值质量的情况下,计算系统152可指导一或多个修改以重新成像托盘的所述部分,例如调整光照配置(例如,频闪灯持续时间、光强度、光波长、灯的位置及/或角度)、摄像机设置(例如,调整光圈、快门速度、焦距、摄像机位置)及/或托盘位置(例如,向前或向后旋转小的增量,例如5°、10°、15°及/或其它量)。此类修改可被传输到控制器1002,所述控制器可用所修改的设置来提示步骤1114到1120的执行。可执行进一步修改,直到阈值数量(例如,2、3、4或更多),在此之后可选择用于托盘的一部分的最佳图像组并且过程1100可继续对托盘的其它部分进行成像。
一旦已捕获托盘的所有图像(在步骤1120处不再执行更多扫描),便可通知控制器1002扫描完成,这可提示控制器1002控制转台及输送机以进一步移动托盘(1122),例如将托盘从转台104转移到输送机106并将托盘移出拍照隔间126。一旦扫描完成,计算系统152便还可初始化第一及第二定时器以用于对所捕获图像执行特定图像处理操作,所述特定图像处理操作可影响托盘的物理移动、处理及贴标签。替代简单地执行这些操作直到其完成,可将定时器设定为要求在阈值时间量内执行以确保托盘的物理处置不会被图像处理操作延迟(即,托盘的物理前进在等待图像处理完成时被中止),这可增加托盘通过概况分析器及系统的吞吐量。可由计算系统152起始第一图像前进操作(1126),其可对应于第一定时器。第一图像处理操作可为第一次通过托盘的所捕获图像以快速确定是否可从图像检测到托盘的托盘标识符(例如条形码、QR码、字母数字码)。此托盘标识符可用于从预先存在的托盘信息识别对应托盘信息。如果在第一定时器到期之前检测到托盘标识符(及/或以至少阈值置信度水平检测到的托盘标识符),那么第一图像处理操作可结束且结果(例如,托盘标识符)可被报告给WMS154(1128)。如果第一定时器在第一图像处理操作完成之前到期,那么可返回指示未检测到托盘标识符及/或具有阈值置信度水平的一或多个候选托盘标识符的结果。第一定时器可为静态值(例如,0.5秒、1秒、5秒、10秒、20秒及/或其它)及/或动态值(例如,从扫描完成直到托盘经过/到达一或多个物理目标位置(例如完全离开拍照隔间)的时间)。在完成第一图像处理操作之后,计算系统152可起始第二图像处理操作(1130)。
WMS154可使用所述结果从预先存在的候选托盘中识别对应候选托盘(1132)。候选托盘的标识符可用作、相关于及/或用于产生仓库内托盘的唯一仓库标识符,WMS154可使用所述唯一仓库标识符来跟踪、管理及/或处理关于托盘的仓储操作。唯一仓库标识符可与例如托盘的内容(例如,产品sku、每一sku的箱子数量、每一箱子的日期、托盘的大小、托盘的重量)等关于托盘的各种细节相关联,这可用于选择托盘的长期存储位置以及选择特定托盘来履行订单。如果未识别出标识符及/或未识别出候选托盘,那么可针对所述托盘产生新的唯一仓库标识符。
WMS154可指导对托盘的物理检查(1134),所述物理检查可由(举例来说)一或多个设备执行,所述一或多个设备经配置以对托盘执行安全检查(例如,确定大小、检测托盘的倾斜度)。上文关于512及536描述了实例。控制器1002可接收来自WMS154的指令,且可控制托盘经由输送机及/或其它托盘移动组件到物理检查单元的移动(1136)。
参考图11B,控制器将物理检查信息(例如,高度、宽度、安全信息)返回(1138)到WMS154,所述WMS将物理检查信息添加到托盘的概况(1140)。WMS154指导对托盘贴标签(1142),且控制器1002可控制输送机将托盘移动到自动贴标签机(1144),所述自动贴标签机可使用托盘的唯一仓库标识符来施加标签。控制器1002可验证施加到托盘的标签是可读的且位于托盘上的一或多个特定位置中(1146),并且可向WMS154返回确认,所述WMS可将标签信息及确认添加到托盘的概况(1148)。
在第二定时器到期或第二图像处理操作完成时,无论哪个首先发生,计算系统152均可将第二图像处理操作的结果返回到WMS154(1150),所述WMS可将那些结果添加到托盘概况(1152)。举例来说,第二图像处理操作可包含识别在托盘上所包含的内容及箱子的细节,例如箱子上的文本、标记、代码及/或其它标签。第二图像处理操作可旨在具体地识别托盘中所包含的内容,例如托盘中所含有的特定sku、每一sku的箱子数量、与每一箱子相关联的日期信息及/或其它显著信息,以更好地理解及跟踪仓库中所含有的货物内容。第二图像处理操作可第二次处理托盘的所有所捕获图像,但使用不同的图像处理技术,例如使用OCR及/或机器学习模型,及/或其它文本/对象检测算法。第二定时器可为静态值(例如,0.5秒、1秒、5秒、10秒、20秒及/或其它),其与第一定时器同时启动或者在第一操作/定时器完成之后启动。替代地,第二定时器可为动态值(例如,直到托盘完成贴标签确认的时间)。
WMS154可分析经累积托盘信息且针对任何矛盾或不一致信息(例如,来自货单的预先存在的托盘信息与所检测托盘信息之间的冲突)确定为所述托盘保留及使用哪一信息。在一些实例中,可选择所检测信息而不是预先存在的信息。在其它实例中,冲突可导致托盘被标记以进行人工审查并被放置到临时存储区中。WMS154可使用托盘信息来确定是否将托盘按特定路线发送到长期存储区及/或临时存储区中(1154)。如果经累积托盘信息不包含足够的细节及/或与其相关联的置信度来确定托盘的内容,那么可将所述托盘标记以进行临时存储。WMS154可指导存储确定(1156),控制器1002可使用所述存储确定来控制输送机将托盘沿着路径按特定路线发送到长期存储区或临时存储区(1158)。
在完成第二图像处理操作之后,计算系统152可起始第三图像处理操作(1152),所述第三图像处理操作可执行图像的额外处理以确定及/或检测经由用于第一及第二图像处理操作的定时器被切断的关于托盘的其它细节,及/或执行额外/替代图像处理(即,使用一或多个机器学习模型处理图像以更准确及/或一致地检测托盘内容,执行图像操纵/修改操作以改进图像质量,然后所述图像质量可用于重新处理第一及/或第二图像处理操作)。第三图像处理操作可不受时间限制,且可被准许进行处理直到其得出结论为止。可返回第三图像处理结果(1160)并将其添加到托盘的概况(1162)。在其中托盘被按特定路线发送到临时存储区的实例中,可将托盘添加到包含所捕获图像的经累积托盘概况的队列以经历人工审查(1164),这可导致托盘信息的人工识别及/或校正(1166)且可准许确定长期存储位置并将其用于存储托盘(1168)。
图12是可用于作为客户端或作为服务器或者多个服务器来实施本文件中所描述的系统及方法的计算装置1200、1250的框图。计算装置1200打算表示各种形式的数字计算机,例如膝上型计算机、桌上型计算机、工作站、个人数字助理、服务器、刀片式服务器、大型计算机及其它适当计算机。计算装置1250打算表示各种形式的移动装置,例如个人数字助理、蜂窝式电话、智能电话及其它类似计算装置。此处所展示的组件、其连接及关系以及其功能意在仅为示范性的,且不意在限制本文件中所描述及/或所主张的本发明实施方案。
计算装置1200包含处理器1202、存储器1204、存储装置1206、连接到存储器1204及高速扩展端口1210的高速接口1208以及连接到低速总线1214及存储装置1206的低速接口1212。组件1202、1204、1206、1208、1210及1212中的每一者使用各种总线而互连,且可安装于共同主板上或视情况以其它方式安装。处理器1202可处理供在计算装置1200内执行的指令,包含存储于存储器1204中或存储装置1206上以在外部输入/输出装置(例如耦合到高速接口1208的显示器1216)上显示用于GUI的图形信息的指令。在其它实施方案中,多个处理器及/或多个总线可视情况连同多个存储器及若干类型的存储器一起使用。此外,可连接多个计算装置1200,其中每一装置提供必要操作的若干部分(例如,作为服务器组、刀片式服务器群组或多处理器系统)。
存储器1204存储计算装置1200内的信息。在一个实施方案中,存储器1204为计算机可读媒体。在另一实施方案中,存储器1204为一或若干易失性存储器单元。在另一实施方案中,存储器1204为一或若干非易失性存储器单元。
存储装置1206能够为计算装置1200提供大容量存储。在一个实施方案中,存储装置1206为计算机可读媒体。在各种不同实施方案中,存储装置1206可为软盘装置、硬盘装置、光盘装置或磁带装置、快闪存储器或其它类似的固态存储器装置或者装置阵列,包含存储区域网络或其它配置中的装置。在一个实施方案中,计算机程序产品有形地体现于信息载体中。所述计算机程序产品含有在执行时执行例如上文所描述的方法的一或多个方法的指令。所述信息载体为计算机可读媒体或机器可读媒体,例如存储器1204、存储装置1206或处理器1202上的存储器。
高速控制器1208管理计算装置1200的带宽密集型操作,而低速控制器1212管理较低带宽密集型操作。此工作分配仅是示范性的。在一个实施方案中,高速控制器1208耦合到存储器1204、显示器1216(例如,通过图形处理器或加速器)且耦合到可接受各种扩充卡(未展示)的高速扩充端口1210。在实施方案中,低速控制器1212耦合到存储装置1206及低速扩充端口1214。可包含各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩充端口可(例如)通过网络适配器耦合到一或多个输入/输出装置,例如键盘、指向装置、扫描仪或联网装置(例如交换机或路由器)。
如图中所展示,可以若干种不同的形式来实施计算装置1200。举例来说,所述计算装置可被实施为标准服务器1220或在此类服务器的群组中多次实施。还可将所述计算装置实施为机架式服务器系统1224的一部分。另外,可将所述计算装置实施于个人计算机(例如膝上型计算机1222)中。替代地,可将来自计算装置1200的组件与例如装置1250等移动装置(未展示)中的其它组件组合。此类装置中的每一者可含有计算装置1200、1250中的一或多者,且整个系统可由彼此通信的多个计算装置1200、1250组成。
计算装置1250包含处理器1252、存储器1264、输入/输出装置(例如显示器1254)、通信接口1266及收发器1268以及其它组件。装置1250还可具备存储装置(例如微驱动器)或其它装置以提供额外存储。组件1250、1252、1264、1254、1266及1268中的每一者使用各种总线而互连,且所述组件中的数个组件可安装于共同主板上或以其它方式适当地安装。
处理器1252可处理用于在计算装置850内执行的指令,包含存储于存储器1264中的指令。所述处理器还可包含单独模拟及数字处理器。举例来说,所述处理器可提供装置1250的其它组件的协作,例如对用户接口、由装置1250运行的应用程序及由装置1250进行的无线通信的控制。
处理器1252可通过耦合到显示器1254的控制接口1258及显示接口1256与用户进行通信。举例来说,显示器1254可为TFT LCD显示器或OLED显示器,或者其他适当的显示技术。显示接口1256可包括用于驱动显示器1254以向用户呈现图形及其它信息的适当电路。控制接口1258可接收来自用户的命令并对其进行转换以供提交到处理器1252。另外,外部接口1262可经提供以与处理器1252进行通信,以便实现装置1250与其它装置的近区域通信。举例来说,外部接口1262可提供有线通信(例如,经由对接程序)或无线通信(例如,经由蓝牙或其它此类技术)。
存储器1264存储计算装置1250内的信息。在一个实施方案中,存储器1264为计算机可读媒体。在一个实施方案中,存储器1264为一或若干易失性存储器单元。在另一实施方案中,存储器1264为一或若干非易失性存储器单元。扩充存储器12174还可通过扩充接口1272被提供及连接到装置1250,举例来说,所述扩充接口可包含SIMM卡接口。此扩充存储器1274可为装置1250提供额外存储空间,或还可存储用于装置1250的应用程序或其它信息。具体来说,扩充存储器1274可包含用以执行或补充上文所描述的过程的指令,且还可包含安全信息。因此,举例来说,扩充存储器1274可提供为装置1250的安全模块,且可利用准许装置1250的安全使用的指令进行编程。另外,安全应用程序可连同额外信息一起经由SIMM卡而提供,例如以不可破解的方式将识别信息放置于SIMM卡上。
举例来说,存储器可包含如下文所论述的快闪存储器及/或MRAM存储器。在一个实施方案中,计算机程序产品有形地体现于信息载体中。所述计算机程序产品含有在执行时执行例如上文所描述的方法的一或多个方法的指令。所述信息载体为计算机可读媒体或机器可读媒体,例如存储器1264、扩充存储器1274或处理器1252上的存储器。
装置1250可通过在必要的情况下可包含数字信号处理电路的通信接口1266无线地通信。通信接口1266可提供在例如GSM语音呼叫、SMS、EMS或MMS消息接发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS以及其它等各种模式或协议下的通信。举例来说,此通信可通过射频收发器1268发生。另外,短程通信可(例如)使用蓝牙、WiFi或其它此类收发器(未展示)而发生。另外,GPS接收器模块1270可向装置1250提供额外无线数据,所述无线数据可视情况由在装置1250上运行的应用程序使用。
装置1250还可使用音频编解码器1260以可听方式进行通信,所述音频编解码器可从用户接收口头信息并将其转换为可用数字信息。音频编解码器1260同样地可例如通过(例如)装置1250的听筒中的扬声器为用户产生可听声音。此声音可包含来自语音电话呼叫的声音、可包含所记录声音(例如,语音消息、音乐文件等)且还可包含由在装置1250上操作的应用程序产生的声音。
如图中所展示,可以若干种不同的形式来实施计算装置1250。举例来说,可将所述计算装置实施为蜂窝电话1280。还可将所述计算装置实施为智能电话1282、个人数字助理或其它类似移动装置的一部分。
此处所描述的系统及技术的各种实施方案可以数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件及/或其组合而实现。这些各种实施方案可包含可在可编程系统上执行及/或解译的一或多个计算机程序中的实施方案,所述可编程系统包含可为专用或通用的至少一个可编程处理器(其经耦合以从存储系统接收数据及指令且将数据及指令传输到存储系统)、至少一个输入装置及至少一个输出装置。
这些计算机程序(还称为程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令且可以高级程序及/或面向对象的程序设计语言及/或以汇编/机器语言来实施。如本文中所使用,术语“机器可读媒体”、“计算机可读媒体”是指用于将机器指令及/或数据提供到可编程处理器的任何计算机程序产品、设备及/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),所述可编程处理器包含作为机器可读信号接收机器指令的机器可读媒体。术语“机器可读信号”是指用于将机器指令及/或数据提供到可编程处理器的任何信号。
为提供与用户的交互,此处所描述的系统及技术可实施于计算机上,所述计算机具有用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器)及用户可通过其将输入提供到计算机的键盘及指向装置(例如,鼠标或轨迹球)。其它种类的装置也可用于提供与用户的交互;举例来说,提供给用户的反馈可为任何形式的传感反馈(例如,视觉反馈,听觉反馈或触觉反馈);及可以任何形式接收来自用户的输入,包含听觉输入、语音输入或触觉输入。
此处所描述的系统及技术可实施于计算系统中,所述计算系统包含后端组件(例如,作为数据服务器);或包含中间件组件(例如,应用程序服务器);或包含前端组件(例如,具有用户可通过其来与此处所描述的系统及技术的实施方案互动的图形用户接口或Web浏览器的客户端计算机),或者此类后端、中间件或前端组件的任何组合。所述系统的组件可通过任何数字数据通信形式或媒体(例如,通信网络)互连。通信网络的实例包含局域网(“LAN”)、广域网(“WAN”)及因特网。
计算系统可包含客户端及服务器。客户端与服务器通常彼此远离且通常通过通信网络交互。客户端与服务器的关系是借助于在相应计算机上运行且彼此之间具有客户端-服务器关系的计算机程序而产生。
尽管本文件含有许多特定实施方案细节,但这些细节不应解释为对可主张的内容的范围的限制而是应解释为可为特定所公开技术的特定实施例特有的特征的描述。在单独实施例的上下文中于本说明书中描述的特定特征还可部分或全部地以组合方式实施于单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可单独地或以任何适合子组合方式实施于多个实施例中。此外,虽然本文中可将特征描述为以特定组合形式起作用及/或最初如此主张,但在一些情形中,可从所主张组合去除来自所述组合的一或多个特征,且所主张之组合可针对于子组合或子组合的变化形式。类似地,尽管以特定次序描述操作,但不应将此理解为要求以特定次序或以顺序次序执行此类操作或者执行所有操作以实现期望结果。已描述了标的物的特定实施例。其它实施例在所附权利要求书的范围内。
Claims (20)
1.一种用于对仓库中的托盘进行概况分析的系统,所述系统包括:
转台,其经配置以使所述托盘旋转;
第一输送带及第二输送带,其用于在所述仓库中移动所述托盘,其中所述第一输送带经配置以将所述托盘从所述仓库中的初始位置自动地按特定路线发送到所述转台上,且所述第二输送带经配置以将所述托盘从所述转台自动地按特定路线发送到所述仓库中的目的地位置;
垂直概况分析结构,其位于接近所述转台的侧面的固定位置中,所述垂直概况分析结构具有安装在沿着所述垂直概况分析结构的多个不同位置处的多个摄像机,其中所述多个摄像机经配置以在所述托盘于所述转台上旋转时捕获所述托盘的图像,所述图像从多个不同有利点提供所述托盘的多个不同视图,所述多个不同有利点由在所述多个不同位置处安装到所述垂直概况分析结构的所述摄像机提供;
计算系统,其经配置以对所述托盘进行概况分析并控制所述转台、所述第一输送带及所述第二输送带以及所述多个摄像机的操作,其中所述计算系统经配置以:
指示所述第一输送带将所述托盘自动地按特定路线发送到所述转台上;
指示所述多个摄像机在所述转台旋转时捕获所述转台上的所述托盘的图像数据,直到旋转周期完成;
从所述多个摄像机接收所述托盘的所述所捕获图像数据;
从数据存储装置中检索所述托盘的基于图像的模型,其中所述基于图像的模型是使用具有唯一标识符的托盘的图像来训练的;
基于将所述托盘的所述基于图像的模型应用于所述托盘的所述所捕获图像数据而确定所述托盘上的唯一标识符是否是可识别的;及
向仓库管理系统传输指示所述托盘上的所述唯一标识符是可识别的还是不可识别的通知,其中所述通知致使所述仓库管理系统基于所述唯一标识符的识别而将所述托盘按特定路线发送到不同的存储位置中。
2.根据权利要求1所述的系统,其中所述多个摄像机沿着同一垂直平面布置,其中每一摄像机具有基本上水平的角度。
3.根据权利要求1所述的系统,其中:
所述垂直概况分析结构是杆,
所述垂直概况分析结构与所述第一输送带、所述第二输送带及所述转台横向间隔开,使得所述垂直概况分析结构不悬挂在所述第一输送带、所述第二输送带及所述转台中的任一者之上,且
所述垂直概况分析结构定位于距所述转台1.7米与1.9米之间的工作距离处。
4.根据权利要求1所述的系统,其中所述垂直概况分析结构包含至少一个光源,所述至少一个光源与所述多个摄像机中的每一者垂直对准并从其偏移。
5.根据权利要求4所述的系统,其中所述至少一个光源是红光,且所述多个摄像机中的一或多者包含偏光器、红光滤光片及带通滤光片中的至少一者。
6.根据权利要求1所述的系统,其进一步包括拍照隔间,所述拍照隔间经配置以封围包含所述转台及所述垂直概况分析结构的区域,其中所述拍照隔间包含(i)防止周围光进入所述经封围区域的侧面及顶部,以及(ii)用以在所述托盘于所述转台上旋转时将光投射在所述托盘上的光源。
7.根据权利要求6所述的系统,其中所述光源从所述垂直概况分析结构横向偏移并相对于所述转台成角度,使得所述光源将光从所述托盘的顶部表面成锐角地反射到所述多个摄像机,其中所述光源经配置以发射与所述多个摄像机的预定快门速度相关的特定强度及持续时间的光。
8.根据权利要求10所述的系统,其中所述拍照隔间包含(i)在所述拍照隔间的第一侧面中的第一开口,所述托盘可通过所述第一开口从所述第一输送带被接收到所述转台上,以及(ii)在所述拍照隔间的与所述第一侧面相对的第二侧面中的第二开口,所述托盘可通过所述第二开口从所述转台被移动到所述第二输送带。
9.根据权利要求1所述的系统,其进一步包括顶置摄像机,所述顶置摄像机经配置以在所述托盘于所述转台上旋转时捕获所述托盘的顶部表面的图像。
10.根据权利要求1所述的系统,其中:
所述多个摄像机中的一或多者沿着所述垂直概况分析结构的中间部分安装且平行于所述转台的表面,以在所述托盘于所述转台上旋转时捕获所述托盘的侧表面的图像,且
所述多个摄像机中的一或多者沿着所述垂直概况分析结构的底部部分安装且向上成角度,以在所述托盘于所述转台上旋转时捕获所述托盘的底部表面的图像。
11.根据权利要求1所述的系统,其中所述计算系统进一步经配置以:
将所述托盘的侧表面、顶部表面及底部表面的一或多个图像数据拼接在一起;及
基于将所述基于图像的模型应用于所述拼接在一起的图像数据而确定所述托盘的高度、所述托盘的损坏、所述托盘的倾斜度、所述托盘的内容、所述托盘上的行数以及所述托盘上的物品数量。
12.根据权利要求1所述的系统,其中所述计算系统进一步经配置以:
将所述托盘居中于所述转台的中点处;及
指示所述转台以恒定的预定速度在第一方向上旋转。
13.根据权利要求1所述的系统,其中所述计算系统进一步经配置以:
基于确定所述托盘上的所述唯一标识符是不可识别的,针对所述托盘产生占位符标签;
使用所述占位符标签作为所述托盘的标识符来产生针对所述托盘的托盘概况;及
向自动化仓库装置传输具有所述占位符标签的通知,其中所述通知致使所述自动化仓库装置打印所述占位符标签并将所述所打印的占位符标签施加到所述托盘的指定表面。
14.根据权利要求1所述的系统,其中所述计算系统进一步经配置以:
在确定所述托盘上的所述唯一标识符是否为可识别的同时,指示所述第一输送带将第二托盘自动地按特定路线发送到所述转台上;
指示所述多个摄像机在所述转台旋转时捕获所述转台上的所述第二托盘的图像数据;
从所述多个摄像机接收所述第二托盘的所述所捕获图像数据;及
基于将所述第二托盘的基于图像的模型应用于所述第二托盘的所述所捕获图像数据而确定所述第二托盘上的唯一标识符是否为可识别的。
15.一种用于对托盘进行概况分析的计算机实施的方法,所述方法包括:
由计算系统指示第一输送带将托盘自动地按特定路线发送到转台上;
由所述计算系统指示多个摄像机在所述转台旋转时捕获所述转台上的所述托盘的图像数据,直到旋转周期完成,其中所述多个摄像机安装在沿着垂直概况分析结构的多个不同位置处,所述垂直概况分析结构位于接近所述转台的侧面的固定位置中;
由所述计算系统从所述多个摄像机接收所述托盘的所述所捕获图像数据,其中所述图像数据从多个不同有利点提供所述托盘的多个不同视图,所述多个不同有利点由在所述多个不同位置处安装到所述垂直概况分析结构的所述摄像机提供;
由所述计算系统从数据存储装置中检索所述托盘的基于图像的模型,其中所述基于图像的模型是使用具有唯一标识符的托盘的图像来训练的;
由所述计算系统基于将所述托盘的所述基于图像的模型应用于所述托盘的所述所捕获图像数据而确定所述托盘上的唯一标识符是否为可识别的;及
由所述计算系统向仓库管理系统传输指示所述托盘上的所述唯一标识符是可识别的还是不可识别的通知,其中所述通知致使所述仓库管理系统基于所述唯一标识符的识别而将所述托盘按特定路线发送到不同的存储位置中。
16.根据权利要求15所述的方法,其进一步包括:
由所述计算系统将所述托盘的侧表面、顶部表面及底部表面的一或多个图像数据拼接在一起;及
由所述计算系统基于将所述基于图像的模型应用于所述拼接在一起的图像数据而确定所述托盘的高度、所述托盘的损坏、所述托盘的倾斜度、所述托盘的内容、所述托盘上的行数以及所述托盘上的物品数量。
17.根据权利要求15所述的方法,其进一步包括:
由所述计算系统将所述托盘居中于所述转台的中点处;及
由所述计算系统指示所述转台以恒定的预定速度在第一方向上旋转。
18.根据权利要求15所述的方法,其中:
所述垂直概况分析结构是杆,
所述垂直概况分析结构与所述第一输送带及所述转台横向间隔开,使得所述垂直概况分析结构不悬挂在所述第一输送带或所述转台之上,且
所述垂直概况分析结构定位于距所述转台1.7米与1.9米之间的工作距离处。
19.根据权利要求15所述的方法,其进一步包括由所述计算系统将光源配置成发射与所述多个摄像机的预定快门速度相关的特定强度及持续时间的光,其中所述光源包含在拍照隔间中,所述拍照隔间经配置以封围包含所述转台及所述垂直概况分析结构的区域,其中所述拍照隔间包含(i)防止周围光进入所述经封围区域的侧面及顶部,以及(ii)在所述托盘于所述转台上旋转时将光投射在所述托盘上的所述光源。
20.根据权利要求15所述的方法,其进一步包括:
由所述计算系统基于确定所述托盘上的所述唯一标识符是不可识别的而针对所述托盘产生占位符标签;
由所述计算系统使用所述占位符标签作为所述托盘的标识符来产生针对所述托盘的托盘概况;及
由所述计算系统向自动化仓库装置传输具有所述占位符标签的通知,其中所述通知致使所述自动化仓库装置打印所述占位符标签并将所述所打印的占位符标签施加到所述托盘的指定表面。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/234,776 US20220332504A1 (en) | 2021-04-19 | 2021-04-19 | Automated pallet profiling |
US17/234,776 | 2021-04-19 | ||
PCT/US2022/025298 WO2022225893A1 (en) | 2021-04-19 | 2022-04-19 | Automated pallet profiling |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117396820A true CN117396820A (zh) | 2024-01-12 |
Family
ID=81603449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280036890.4A Pending CN117396820A (zh) | 2021-04-19 | 2022-04-19 | 自动化托盘概况分析 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220332504A1 (zh) |
EP (1) | EP4327170A1 (zh) |
CN (1) | CN117396820A (zh) |
AU (1) | AU2022261860A1 (zh) |
CA (1) | CA3215825A1 (zh) |
WO (1) | WO2022225893A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019089825A1 (en) * | 2017-11-02 | 2019-05-09 | AMP Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
CN113191469A (zh) * | 2021-04-30 | 2021-07-30 | 南方科技大学 | 基于二维码的物流管理方法、系统、服务器和存储介质 |
CN117740792A (zh) * | 2024-02-20 | 2024-03-22 | 宁德时代新能源科技股份有限公司 | 裸电芯检测系统及裸电芯检测系统的点检方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG175299A1 (en) * | 2009-04-30 | 2011-11-28 | Azimuth Intellectual Products Pte Ltd | Apparatus and method for acquiring an image of a pallet load |
US11046519B2 (en) * | 2019-02-25 | 2021-06-29 | Rehrig Pacific Company | Delivery system |
-
2021
- 2021-04-19 US US17/234,776 patent/US20220332504A1/en active Pending
-
2022
- 2022-04-19 AU AU2022261860A patent/AU2022261860A1/en active Pending
- 2022-04-19 CA CA3215825A patent/CA3215825A1/en active Pending
- 2022-04-19 CN CN202280036890.4A patent/CN117396820A/zh active Pending
- 2022-04-19 WO PCT/US2022/025298 patent/WO2022225893A1/en active Application Filing
- 2022-04-19 EP EP22722924.2A patent/EP4327170A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4327170A1 (en) | 2024-02-28 |
US20220332504A1 (en) | 2022-10-20 |
WO2022225893A1 (en) | 2022-10-27 |
CA3215825A1 (en) | 2022-10-27 |
AU2022261860A1 (en) | 2023-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10984378B1 (en) | Profiling pallets and goods in a warehouse environment | |
CN117396820A (zh) | 自动化托盘概况分析 | |
US10655945B2 (en) | Methods and apparatus to coordinate movement of automated vehicles and freight dimensioning components | |
US8179434B2 (en) | System and method for imaging of curved surfaces | |
US10643038B1 (en) | Multi sensor domain—multi tier camera system for package identification | |
US20120057022A1 (en) | Apparatus and method for acquiring an image of a pallet load | |
US8570377B2 (en) | System and method for recognizing a unit load device (ULD) number marked on an air cargo unit | |
US11265481B1 (en) | Aligning and blending image data from multiple image sensors | |
US10958895B1 (en) | High speed automated capture of 3D models of packaged items | |
KR102433004B1 (ko) | 인공 지능 기반의 무인 결제 장치 및 방법 | |
US20220036371A1 (en) | Identifying and grading system and related methods for collectable items | |
KR101195183B1 (ko) | 부품 실장 상태 검사 장치 | |
CN114535102A (zh) | 分拣系统、分拣方法、控制方法及存储介质 | |
US11878873B2 (en) | Cased goods inspection and method therefor | |
KR102454539B1 (ko) | 검증을 수행하는 무인 결제 장치 및 방법 | |
KR102433003B1 (ko) | 컨베이어 단차를 이용한 겹침 방지 기능을 갖는 무인 결제 장치 | |
US20230098677A1 (en) | Freight Management Systems And Methods | |
US20230101794A1 (en) | Freight Management Systems And Methods | |
WO2022268371A1 (fr) | Système de suivi de mouvement d'une pluralité de contenants | |
JP7259877B2 (ja) | 検出方法、検出装置、検出システム及びコンピュータプログラム | |
TW202248627A (zh) | 裝箱貨物檢驗系統及其方法 | |
JP2023143177A (ja) | 荷物検出システム、荷物検出方法、及び、撮像投影装置 | |
FR3121253A1 (fr) | Système de suivi de mouvement d’une pluralité de contenants | |
WO2023055714A1 (en) | Freight management systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |