CN113498524A - 递送系统 - Google Patents

Abstract

一种递送系统基于订单生成包含多个SKU的拣货单。对载有货物的货板进行成像以识别所述载有货物的货板上的所述SKU，在所述载有货物的货板离开分配中心之前将所述SKU与所述订单进行比较。可以在用拉伸裹包物裹包所述载有货物的货板时对其进行成像。在递送时，可以再次对所述载有货物的货板进行成像并进行分析以与所述拣货单进行比较。

Description

递送系统

技术领域

产品从分配中心到商店的递送有许多容易出错且低效的步骤。当接收到来自客户的订单时，根据“拣货清单”在至少一个货板上装载所规定的产品。

背景技术

例如，所述产品可以是饮料容器箱（例如罐子的纸箱和容纳瓶子或罐子的饮料板条箱等等）。递送到每一商店的饮料容器的风格、尺寸和类型存在许多不同排列。在构建货板时，缺少的或错误拣选的产品可能导致显著的额外运营成本。

然后，将载有货物的货板连同其它商店的货板一起装载在卡车上。错误装载的货板导致递送路线的显著时间延迟，因为驾驶员将不得不在递送过程期间调遣拖车中的可能有限的空间来重新布置所述货板。卡车上的额外货板也可能导致找出错误货板并将其重新装载在正确拖车上的额外装载时间。

在商店处，驾驶员从针对所述位置指定的货板卸下货物。驾驶员经常花费大量时间在商店等待店员有空去通过物理地对所递送产品进行计数来登记所递送产品。在此过程期间，店员确保所有订购产品都被递送。驾驶员和店员经常打破货板并打开每一箱子以根据每一独特风格和尺寸扫描一个UPC。在扫描独特风格和尺寸之后，店员和驾驶员两者都对针对所述UPC的箱子或瓶子的数目进行计数。这持续到所有货板上的所有产品都被数完。店员通常忙于帮助他们自己的客户，这迫使驾驶员等待到店员有空登记产品。

发明内容

所述经改进的递送系统提供对递送过程的数个阶段的改进。虽然这些改进在一起实践时效果很好，但是可以单独实践这些改进中的少于全部改进或者甚至任何一个改进以获得一些益处。

所述经改进的递送系统通过使机器学习和计算机视觉软件与序列化（RFID/条形码）运送货板相结合来促进从仓库到商店的订单准确性。货板填装算法基于产品搭配和仓库布局。

在构建货板、将货板装载到拖车上并且将货板递送到商店时进行电子订单准确性检查。在构建货板时，递送系统验证所述构建以确保根据拣货清单将正确产品SKU装载在正确货板上。一旦货板被构建，便将所述特定货板的整体计算机视觉SKU计数与所述特定货板的拣货清单进行比较，以确保所述货板被正确地构建。这可以在货板被拉伸裹包之前完成，因此减少打开货板进行审核和校正的成本。这还防止递送点处的短缺和过剩，因此防止驾驶员不得不带回多余产品或进行额外行程来递送缺少的产品。

然后，可以使用经优化的排队系统来按正确的反向停站顺序对货板进行排队并装载到拖车上（最后一站首先装载到拖车上）。装卸工将可以看到显示哪一货板将被装载在哪一拖车上的电子视觉控制，例如：在#4站区装载#3货板等。

系统还将通过在递送点处建立信任的检查组合来减少接收方在递送点（例如商店）处登记产品的时间。这通过在货板离开仓库之前和递送到商店时输送货板上的经验证的SKU的计算机视觉图像来完成。这可以是单个图像的比较，或通过使商店处的图像也以电子方式识别产品SKU的深度机器学习。递送益处包括与在商店级等待和检查产品相关联的显著降低的成本以及被递送以供将来审核的可证实电子分类账。

所述递送系统将利用驾驶员或接收方将拥有的移动设备拍摄货板的一个或多个静止图像（例如，4个，即，每一侧面上1个）。然后，可以以电子方式将所述图像与来自仓库的控制图片进行比较，并由店员进行物理比较。店员可以以电子方式签署所有产品的SKU都在其拣货清单上。将提供不同级别的收据以供店员批准。商店处的验证可以是通过从移动设备调用的机器学习计算机视觉算法针对递送、货板图像比较和/或SKU验证经由RFID/条形码和GPS坐标的简单货板串行扫描。

附图说明

图1是递送系统的示意图。

图2显示图1的递送系统的示例性装载站。

图3显示图1的递送系统的示例性验证站。

图4是图3的示例性验证系统的另一视图，其上带有载有货物的货板。

图5显示图1的递送系统的另一示例性验证系统。

图6显示在裹包载有货物的货板的过程中的图5的验证系统。

图7显示图1的递送系统的仍另一示例性验证系统。

图8显示在图1的递送系统中使用的路线优化。

图9显示图1的递送系统的示例性装载站。

图10是图9的示例性装载站的另一视图。

图11显示图1的递送系统的调度系统。

图12示出图1的递送系统的商店通知特征。

图13是用于确认图1的递送系统中的货板ID的移动应用的示例性屏幕。

图14是用于对所述载有货物的货板进行成像以在图1的递送系统中进行验证的移动应用的示例性屏幕。

图15是移动应用的示例性屏幕，其中用户可以批准来自图14的载有货物的货板的图像。

图16是移动设备上的应用的屏幕截图，其指示在图15的图像中的载有货物的货板上已经识别的每一SKU的数量。

图17显示移动应用的示例性屏幕，其中驾驶员已经在商店处对载有货物的货板进行成像。

图18显示移动应用的示例性屏幕，其显示商店处的载有货物的货板上的SKU匹配拣货单的确认。

图19显示移动应用的另一示例性屏幕，其显示商店处的载有货物的货板上的SKU匹配拣货单的确认。

图20显示移动应用的示例性屏幕，其指示商店处的载有货物的货板上的SKU并不匹配拣货单。

图21显示示例性货板滑车，其带有传感器和/或相机以用于识别滑车上的货板和货板上的物品。

图22显示图1的递送系统的示例性训练站。

图23显示可以在图1的系统中使用的替代训练站。

图24显示图1的系统的训练特征的一种可能的架构。

图25A和图25B是用于递送物品的方法的一个版本的流程图。

图26是用于训练机器学习模型的方法的一个版本的流程图。

图27显示替代验证站。

图28显示指示分配中心处的经验证的载有货物的货板的示例性屏幕。

图29显示指示分配中心处的错误拣选的载有货物的货板的示例性屏幕。

具体实施方式

图1是包括一个或多个分配中心12、中心服务器14（例如云计算机）和多个商店16的递送系统10的高级视图。多个卡车18或其它运载车辆各自将货板22上的产品20从分配中心12中的一个分配中心运输到多个商店16。每一卡车18载运多个货板22，货板22可以是半尺寸货板，每一货板装载有多个货物20以供递送到商店16中的一个商店。每一卡车18上有带轮滑车24以促进将货物20的一个或多个货板22递送到每一商店16。通常，货物20可以装载在半尺寸货板22、全尺寸货板、推车或手推车或搬运车上，本文中全部认为是“平台”。

每一分配中心12包括一个或多个拣选站30，每一拣选站30与验证站32相关联。每一验证站32与装载站34（例如用于装载卡车18的装货站区）相关联。

每一分配中心12可以具有多个装载站34。每一分配中心12包括DC计算机26。DC计算机26从商店16接收订单60并与中心服务器14通信。每一DC计算机26接收订单并生成拣货单64，拣货单64中的每一者存储SKU并使其与货板ID相关联。可替代地，订单60可以从DC计算机26发送到中心服务器14以供生成拣货单64，拣货单64被同步回到DC计算机26。

一些或所有分配中心12可以包括训练站28，以用于生成关于新产品20的图像信息和其它信息，这些信息可以传输到中心服务器14以供分析和将来使用。

中心服务器14可以包括多个分配中心账户40（包括DC1-DCn），每一分配中心账户与分配中心12相关联。每一DC账户40包括多个商店账户42，包括商店1-商店n。每一商店的订单60和拣货单64存储在相关联的商店账户42中。中心服务器14进一步包括机器学习模型，其包括多个SKU文件44，包括SKU 1-SKUn。所述模型被周期性地同步到DC计算机26。

SKU文件44各自包含SKU的信息。“SKU”可以是可从分配中心12获得并且可以递送到商店16中的一个商店的产品的单个变体。例如，每一SKU可以与具有特定包装（硬纸板或可重复使用的塑料板条箱等等）、具有特定风格和特定尺寸（例如24盎司）的呈特定形式（例如罐子或瓶子）的特定数目个容器（例如12件）相关联。此信息与产品名称、产品描述、产品大小和产品的图像信息一起包含在每一SKU文件44中。每一SKU文件44还可以包括产品的重量。图像信息可以进一步分解成文本和颜色信息。还可能的是，产品的多于一个变体可以共享单个SKU，例如其中仅产品的包装、美学和外观变化，但是内含物和数量相同。例如，有时可能利用促销包装，其针对特定SKU将具有不同图像信息。一般来说，包括其相关联图像信息的所有SKU文件44都可以通过训练模块28生成。

还参考图25中的流程图，在步骤150中，可以从商店16接收订单60。作为示例，订单60可以由商店雇员使用应用或移动设备52提交。订单60被发送到分配中心计算机26（或可替代地，发送到服务器14，并且然后中继到适当（例如最近）的分配中心计算机26）。分配中心计算机26分析订单60，并且在步骤152中创建与所述订单60相关联的拣货单64。拣货单64根据所述订单指派所述SKU中的每一者（包括每一SKU的数量）。拣货单64规定针对所述订单将需要多少个货板22（由DC计算机26确定）。DC计算机26还可以确定哪些SKU应该彼此靠近地装载在相同货板22上，或者如果将需要多于一个货板22，则哪些SKU应该装载在相同货板22上。例如，进入冷藏箱的SKU可以共同地在相同货板上（或在相同货板上彼此靠近），而放在货架上的SKU可以在货板的另一部分上（或者，如果存在多于一个货板，则在另一货板上）。如果拣货单64在DC计算机26上创建，则将其复制到服务器14。如果拣货单64在服务器14上创建，则将其复制到DC计算机26。

图2显示图1的拣选站30。参考图1和图2，分配中心处的工人例如借助货板搬运车24a上的移动设备或读取器读取货板搬运车24a上的货板22上的货板ID（例如经由RFID、条形码等等）（参见图13的屏幕截图）。货架针对每一SKU可以包含多种物品20，例如第一SKU的第一产品20a和第二SKU的第二产品20b（统称为“产品20”）。读取根据拣货单64显示的计算机屏幕或移动设备屏幕的工人取回每一产品20并且将所述产品20放置在货板22上。可替代地，货板22可以通过自动装卸装备来装载。

在步骤154中，工人根据拣货单64将物品20放置在货板22上，并且将货板ID报告给DC计算机26。DC计算机26规定用于将物品20a、b装载在货板22上的销售组和子组以便使得在商店处更容易卸货。在所示示例中，拣货单64规定所述产品20a在一个货板22上，而产品20b在另一个货板22上。例如，应该将较冷物品分组，并且应该将干燥物品分组。包装组的拆分也被最小化以使卸货更容易。这也使货板22更稳定。

在装载一个货板22之后，将下一个货板22带到拣选站30，直到拣货单64所需的所有SKU都被装载到与所述拣货单64所需的货板一样多的货板22上。然后，针对下一个拣货单64装载货板22。DC计算机26记录已经针对每一拣货单64装载有特定SKU的货板22的货板ID。拣货单64可以使每一货板ID与每一SKU相关联。

在装载之后，在验证站32处验证每一载有货物的货板22，验证站32可以临近于拣选站30或者是拣选站30的一部分。如下文将更详细描述的，在步骤156中，在验证站32处拍摄货板22上的产品20的至少一个静止图像、并且优选地数个静止图像或视频。还读取货板22的货板ID。在步骤158中，分析所述图像以确定当前在所识别的货板22上的产品20的SKU。在步骤160中，DC计算机26将货板22上的产品20的SKU与拣货单64进行比较，以确保与拣货单64上的货板22的货板ID相关联的所有SKU都存在于正确的货板22上，并且不存在额外的SKU。下文公开实施上述步骤的数种方式。

首先，参考图3和图4，验证站可以包括带有转台67的CV/RFID半自动裹包机66a，其可以专门装配有相机68和RFID读取器70（和/或条形码读取器）。裹包机66a保持一卷半透明柔性塑料裹包物或拉伸裹包物72。如所已知的，可以将载有货物的货板22放置在转台67上，在施加拉伸裹包物72时，转台67旋转载有货物的货板22。相机68可以是深度相机。在此裹包机66a中，相机68在将拉伸裹包物72裹包在载有货物的货板22周围之前或同时在转台67正旋转载有货物的货板22的同时拍摄载有货物的货板22的至少一个图像。还可以生成载有货物的货板22在裹包之后的图像/视频。如本文中所使用的，“图像(image）”或“图像(images）”泛指静止图像和/或视频的任何组合，并且“成像”意指捕获静止图像和/或视频的任何组合。同样，优选地，拍摄2至4个静止图像或视频。

在一个实施方案中，相机68正记录视频（或连续变化的图像），而转台67正旋转。当相机68检测到货板22的两个外端等距（或者货板22的面向相机68的一侧垂直于相机68视图）时，相机68记录静止图像。相机68可以按此方式记录四个静止图像，货板22的每一侧面一个。

RFID读取器70（或条形码读取器等等）从货板22读取货板ID（唯一序列号）。裹包机66a包括与相机68和RFID读取器70a通信的本地计算机74。计算机74可以经由无线网卡76与DC计算机26（和/或服务器14）通信。图像和货板ID经由网卡76发送到服务器14并与拣货清单64（图1）相关联。可选地，可以将重量传感器添加到转台67，并且可以将产品20和货板22的已知总重量与转台67上的所测量的重量进行比较以进行确认。如果转台67上的总重量并不匹配预期重量，则生成警报。

作为替代方案，图3和图4的转台67、相机68、RFID读取器70和计算机74可以在无裹包机的情况下使用。可以将载有货物的货板22放置在转台67上仅用于验证，并且可以随后手动或在另一站处进行裹包。

可替代地，参考图5和图6，验证站可以包括安装到机器人裹包机66b的相机68和RFID读取器70（或条形码读取器等等）。如所已知的，替代使拉伸裹包物72保持静止并旋转货板22，机器人裹包机66b以拉伸裹包物72围绕载有货物的货板22行进以裹包载有货物的货板22。机器人裹包机66b包括相机68、RFID读取器70、计算机74和无线网卡76。

图6显示机器人裹包机66b用拉伸裹包物72（如通常所使用的）裹包载有货物的货板22和物品20并生成载有货物的货板22的至少一个图像62。机器人裹包机66b围绕载有货物的货板22行进并在裹包载有货物的货板22之前和/或同时生成载有货物的货板22的至少一个图像62。还可以生成载有货物的货板22在裹包之后的图像。除了机器人裹包机66b围绕静止的载有货物的货板22行进的事实之外，机器人裹包机66b与图3和图4的裹包机66b一样操作。

可替代地，参考图7，验证站可以包括例如在移动设备78（例如智能电话或平板计算机）上拥有联网相机的工人，用于在裹包载有货物的货板22之前拍摄载有货物的货板22的一个或多个图像62。图14是移动设备78上的应用的屏幕截图，其指示用户拍摄载有货物的货板22的长边的两个静止图像（可替代地，用户可以在围绕货板22走动的同时拍摄视频）。图15是移动设备78上的应用的屏幕截图，用户可以在其上批准用户拍摄的图像。图16是移动设备78上的应用的屏幕截图，其指示已经在货板22上识别的每一SKU的产品20的数量。

可以使用其它方式来收集载有货物的货板的图像。在所述方法中的任一方法中，在具有机器学习模型的副本的DC计算机26上实施图像分析和/或与拣货清单的比较。可替代地，分析和比较可以在服务器14上、本地计算机74上、或者在移动设备78上或另一本地联网计算机上完成。

如上所述，相机68（或移动设备78上的相机）可以是深度相机，即，其还提供与图像相关的距离信息（例如逐像素距离信息或像素区域的距离信息）。已知深度相机，并且其利用各种技术，例如立体视觉（即，两个相机）或多于两个相机、飞行时间或激光器等等。如果使用深度相机，则容易检测到堆叠在货板22上的产品的边缘（即，通过检测相邻成角度表面的微小间隙或差异，检测整个堆的边缘以及可能的单独相邻产品的边缘）。同样，深度相机68可以更容易地检测到载有货物的货板22何时呈现与相机68的视图的垂直面以拍摄静止图像。

然而，收集载有货物的货板22的图像，然后在步骤158中分析所述图像以确定货板22上的每一个物品20的SKU（图25A）。如果适用，每一个可能产品的所有侧面的图像和大小（包括每一SKU的多个版本）都存储在服务器14中。如果收集多个静止图像或视频，则使用货板22和物品20的已知大小来确保每一个物品20被计数一次、且仅一次。例如，首先，可以在图像中识别载有货物的货板22的多个侧面。然后，在每一侧面上识别物品20的层。然后，在载有货物的货板22的四个侧面中的每一者上识别单独的物品20。

计算机识别每一物品20的包装类型，例如可重复使用的饮料板条箱、带有半透明塑料裹包物的瓦楞纸托盘或全封闭的硬纸板或纸板箱。计算机还例如通过读取包装上的图像/文本来识别每一物品20的品牌（例如来自特定制造商的特定风格）。可以首先识别包装，因此缩小待识别的可能品牌选项的清单。或者反之亦然，可以确定品牌并使用其来缩小待识别的可能包装选项。可替代地，可以独立地确定品牌和包装，并且然后交叉参考以进行证实。在任一方法中，如果一种技术导致具有更多置信度的识别，则结果可能优先于相反识别。例如，如果以低置信度确定品牌并且以高置信度确定包装，并且所识别的品牌在所识别的包装中不可用，则使用所识别的包装，并且然后使用在所识别的包装中可用的下一最可能的品牌。

在载有货物的货板22的四个侧面中的每一者上识别出单独的物品20之后，基于物品20和货板22的已知大小，去除重复项，即，确定哪些物品从多于一个侧面可见并且出现在多于一个图像中。如果一些物品从一个侧面以较少置信度被识别，但是出现在其以更多置信度被识别的另一图像中，则使用具有更多置信度的识别。

例如，如果货板22是半尺寸货板，则其大小将为大约40至大约48英寸乘大约20至大约24英寸，包括公制800 mm x 600 mm。标准尺寸饮料板条箱、饮料纸箱和经裹包的瓦楞纸托盘将全部从至少一个侧面可见，大多数将从至少两个侧面可见，并且一些将在三个侧面上可见。

如果货板22是全尺寸货板（例如大约48英寸乘大约40英寸，或800 mm乘1200 mm），则大多数产品将从一个或两个侧面可见，但是可能存在从任一侧面都不可见的一些产品。可以通过与拣货清单的粗略比较确定隐藏产品的大小和重量。可选地，可以向用户显示与可见产品不匹配的SKU的所存储图像（来自SKU文件），用户可以手动证实隐藏产品的存在。

将特定货板22的计算机视觉生成的SKU计数与拣货清单64进行比较以确保货板22被正确构建。这可以在载有货物的货板22被裹包之前完成，因此防止打开货板22以进行审核和校正。如果所构建的货板22并不匹配拣货清单64（步骤162），则例如经由显示器（例如图29）向工人指示缺少或错误的SKU（步骤164）。然后，工人可以校正货板22上的物品20（步骤166），并且重新开始验证（即，在步骤156中开始新图像）。

如果载有货物的货板22被确认，则向工人给予正反馈（例如图28），然后，工人继续裹包载有货物的货板22（步骤168）。在裹包之后，可以拍摄载有货物的货板22的额外图像。例如，可以在裹包之前拍摄载有货物的货板的四个图像，并且可以在裹包之后拍摄载有货物的货板22的四个其它图像。所有图像都存储在本地并发送到服务器14。然后，工人将经验证的载有货物的货板22移动到装载站34（步骤170）。

在载有货物的货板22已经被验证之后，将其移动到装载站34（图1）。如下文更详细解释的，在装载站34处，分配中心计算机26确保通过每一货板ID识别的载有货物的货板22按正确次序被装载到正确的卡车18上。例如，首先装载待在路线的尽头递送的货板22。

计算机（DC计算机26、服务器14或另一计算机）确定由每一卡车18行驶以按最高效顺序访问每一商店16的高效路线、必需进入每一卡车18的特定的载有货物的货板22以及货板22应该装载到卡车18上的次序。

如图8中所示，服务器14优化每一卡车18的路线，使得为驾驶员绘制高效路线。如图所示，所述路线被通信到驾驶员的移动设备50（或车载导航系统），并且可以在卡车18已经离开DC 12之后根据需要（例如基于交通）进行修改。

参考图9，使用经优化的排队系统来基于针对卡车18规划的路线按正确的反向停站顺序对载有货物的货板22进行排队并装载到卡车18上（最后一站首先装载到卡车18上）。每一卡车18将在不同装货站区门道80处。

图10显示示例性装载站34，例如具有门道80的装货站区（dock）。基于由服务器14确定的顺序，靠近门道80的电子视觉显示器82显示接下来哪一货板22待装载到所述卡车18上。邻近门道80的相机84和/或RFID读取器86在每一载有货物的货板22装载到卡车18上时识别其。如果错误的货板22朝向门道80移动，则声音和/或视觉报警提醒工人。可选地，门道80处的RFID读取器86能够确定载有货物的货板22上的RFID标签的移动方向，即，其可以确定载有货物的货板22是移动到卡车18上还是移动离开卡车18。如果错误的载有货物的货板22移动到卡车18上，则这将是有帮助的。通知工人装载了错误的货板22，并且RFID读取器86可以确认货板然后移动离开卡车18。

当一组载有货物的货板22（两个或更多个）要去往相同的商店16时，此组内的载有货物的货板22可以按任何次序装载到卡车18上。显示器82可以指示所述组载有货物的货板22，并且此组内要去往相同商店16的载有货物的货板22将由RFID读取器86和显示器82按此组内的任何次序批准。

参考图11，门户站点88（由服务器14生成）为本地公司提供卡车18调度的可见性以减少等待时间。

参考图1，载有货物的卡车18载运手推平车或货板滑车24，用于使载有货物的货板22移动离开卡车18并且移动到商店16中（图25，步骤172）。驾驶员拥有从分配中心计算机26或中心服务器14接收经优化路线的移动设备50。驾驶员遵循所述路线到达卡车18针对其包含载有货物的货板22的多个商店16中的每一商店。

在每一商店16处，驾驶员的移动设备50指示哪些载有货物的货板22（基于其货板ID）要递送给商店16（由移动设备50上的gps证实）。驾驶员借助检查货板ID（RFID、条形码等等）的移动设备50针对所述位置证实正确的货板。驾驶员借助货板滑车24将载有货物的货板22移动到商店16中。

参考图21，可选地，货板滑车24可以包括RFID读取器90以通过读取固定到货板22的RFID标签94来检查其上载运的货板22的货板ID。RFID读取器90还可以读取物品20上的RFID标签96。可选地，可替代地或另外地，货板滑车24可以包括相机92用于对其上载运的载有货物的货板22进行成像以进行验证。本地无线通信电路（例如蓝牙）可以将货板滑车24上的货板22的货板ID通信到驾驶员的移动设备50。驾驶员的移动设备50可以向驾驶员确认正确的货板22被装载在货板滑车24上，或者在货板滑车24上的货板22并不对应于当前位置（经由移动设备50上的gps确定）处的商店16时警告驾驶员。

货板滑车24还可以帮助追踪货板22和可返回包装（例如塑料饮料板条箱98）的返回。如果所述可返回包装（例如塑料饮料板条箱98）具有RFID标签96，则货板滑车24可以对返回到卡车18的板条箱98和货板22的数目进行计数。随时间的推移，这可以提供资产追踪信息。例如，这使得容易确定递送到特定商店16的货板22和板条箱98的数目是否始终超过从所述商店16返回的货板22和板条箱98的数目，因此指示商店16正出于某一原因而经历高资产损失率，然后可以对其进行调查和补救。

然后，可以在商店处遵循数种方法中的一种方法。

在第一方法中，驾驶员从载有货物的货板22去除裹包物，并且在商店16中使用移动设备50来拍摄载有货物的货板22的至少一个、并且优选地数个静止图像或视频（图1、图17、图25，步骤174）。可选地，驾驶员可能能够拍摄打开的载有货物的货板22的拐角的单个图像，使得在单个图像中捕获载有货物的货板22的两个侧面。图像62从移动设备50发送到服务器14（或者可替代地，DC计算机26）。在步骤176中，分配中心服务器14按上述数种方式中的一种方式分析所述图像以确认与拣货单64上的所述货板22的货板ID相关联的SKU中的每一者的正确数目个物品20的存在（步骤178），并且然后将确认通信到驾驶员的移动设备50和/或商店雇员的移动设备52，其显示在屏幕上（图18和图19）。

如果检测到差异（步骤180），则在步骤182中，系统向驾驶员指示所述特定差异以及如何补救所述差异。驾驶员可以通过从卡车18取回缺少的SKU的产品20或将缺少的SKU记入商店账户42来校正所述差异（步骤184）。任何被检测到并不属于货板22的SKU可以由驾驶员返回到卡车18。在商店工人的移动设备52（经由应用）上，商店工人确认载有货物的货板22的存在，并且从分配中心计算机26或服务器14接收与所述货板ID相关联的SKU清单。

如果一个或多个SKU并不匹配，则向驾驶员显示图20的屏幕，所述屏幕具体指示缺少什么东西（步骤182）。可选地，未显示，他的移动设备上的屏幕还可以例如通过在图像中的SKU周围画框或圆圈来在图像上在视觉上指示并不匹配的SKU。如果必需，他可以通过单击其并且然后向其指派正确SKU来手动将其识别。如果SKU实际上物理丢失或正当地不在拣货清单上，则其在此也将被识别，并且驾驶员可以例如通过在步骤184中从卡车18取回缺少的物品来潜在地校正订单。然后，驾驶员在步骤186中完成递送。

参考图12，商店雇员可以经由其移动设备52接收已经进行递送的通知。经由其移动设备52，雇员可以查看载有货物的货板22的图像，并且可以要求雇员基于所述图像和/或基于来自服务器14的系统10已经确认递送的准确性（即，在验证店内图像之后）的指示签署递送。

在第二方法中，驾驶员在打开载有货物的货板22之前对其进行成像（再次，每一载有货物的货板22的一个或多个静止图像或视频）。图像62从移动设备50发送到分配中心计算机26或服务器14。分配中心计算机26或中心服务器14透过半透明的拉伸裹包物识别SKU来分析所述图像。可替代地，替代对载有货物的货板22上的SKU的完整的新的识别，所需要的只是确认先前验证的载有货物的货板22上什么都没有改变。例如，知道货板22上的每一SKU的先前布置和每一SKU的具体包装（对于可能具有多于一个可能包装的SKU），更容易识别出那些SKU仍处于与当其在DC 12处被验证时相同的位置和布置。

另外，如果在裹包之后也拍摄载有货物的货板22的图像，则DC计算机26和/或服务器14还可以证实所述裹包物相对未受干扰。可替代地，可以在不识别下面的SKU的情况下确定裹包物未受干扰，并且如果裹包物太受干扰，则通知驾驶员去除所述裹包物并对打开以进行完整图像分析的载有货物的货板22进行成像。再次，商店工人确认载有货物的货板22的存在，并且从分配中心计算机26或服务器14接收与所述货板ID相关联的SKU清单。

可替代地，图像可以简单地作为图像与在分配中心处拍摄的图像进行比较，而无需实际识别图像中的SKU。如果商店处的图像足够类似于在验证时拍摄的图像，则可以确认递送的准确性。这可以通过将打开的图像相互比较或者通过将裹包的图像相互比较来完成。然而，这将不使得驾驶员能够容易地校正缺少的SKU。因此，如果确定图像足够类似于验证图像，则此时可以开始基于商店16处的打开的载有货物的货板22的图像的新SKU识别。

在第三方法中，商店工人已经信任整个系统10，并且简单地确认载有货物的货板22已经递送到商店16，而不花费时间逐个SKU进行检查并且将每一SKU与其订购的清单进行比较，并且无需驾驶员的任何重新验证/成像。以所述方式，驾驶员可以立即开始从货板22卸下产品20，并且将视情况将其放置在货架54上或冷藏箱56中。这大大减少驾驶员的递送时间。

图22显示包括转台100的样本训练站28，新产品20（例如针对新SKU或现有SKU的新变体）可以放置在转台100上以创建SKU文件44。转台100可以包括用于读取产品20上的RFID标签96（如果存在）的RFID读取器102以及用于确定产品20的重量的重量传感器104。当产品20在转台100上旋转时，相机106拍摄产品20的包装的多个静止图像和/或视频，包括包装上的任何标识108或任何其它标记。优选地，包装的所有侧面都被成像。图像、重量、RFID信息被发送到服务器14以存储在SKU文件44中。可选地，在不同角度和/或以不同照明拍摄产品20的多个图像。可替代地或另外地，具有用于产品20的包装的插图的计算机文件（即，由其制作所述包装的文件）被直接发送到服务器14。

图23显示可以在图1的系统中使用的替代训练站28a。训练站28a包括支架120，新产品20（例如针对新SKU或现有SKU的新变体）可以放置在支架120上以创建SKU文件44。支架120可以包括用于读取产品20上的RFID标签96（如果存在）的RFID读取器102以及用于确定产品20的重量的可选重量传感器104。一个或多个相机126拍摄产品20的包装的多个静止图像和/或视频，包括包装上的任何标识108或任何其它标记。在所示示例中，三个相机126安装到固定到支架120的框架128。优选地，包装的所有侧面都被成像。因此，在所示示例中，在用三个相机126捕获三个侧面之后，用户可以旋转产品20，使得可以捕获剩余的三个侧面。图像、重量、RFID信息可以由本地训练计算机130接收并发送到服务器14以存储在SKU文件44中。再次，可选地，可以以不同照明拍摄多组图像。

相机106或126中的每一者可以是深度相机，即，其还提供与图像相关的距离信息（例如逐像素距离信息或像素区域的距离信息）。已知深度相机，并且其利用各种技术，例如立体视觉（即，两个相机）或多于两个相机、飞行时间或激光器等等。如果使用深度相机，则容易检测产品20的边缘。

在图24中所示的任一训练站28或28a的一个可能实施方案中，来自训练站28的产品20的裁剪图像经由门户站点132从本地计算机130发送到SKU图像存储装置134，SKU图像存储装置134可以在服务器14处。可替代地，具有用于产品20的包装的插图的计算机文件（即，由其制作所述包装的文件）被直接发送到服务器14。

无论使用哪种方法来获得物品的图像，都在图26的步骤190中接收物品的图像。在步骤192中，API 136获取SKU图像并将其构建成多个虚拟货板，所述多个虚拟货板中的每一者显示产品20在货板22上的外观。所述虚拟货板可以包括货板22上的四层或五层产品20。所述虚拟货板中的一些可以仅由单个新产品20构成，并且所述虚拟货板中的一些将具有货板22上的不同产品20的图像的混合。API 136还借助相关联的SKU自动标记虚拟货板上的产品20的位置和/或边界。所述API创建虚拟货板的多个配置以在步骤194中发送到机器学习模型138以便用所述新SKU和图片对其进行更新。

所述虚拟货板基于一组可配置的规则构建，包括货板22的大小、产品20的大小、所准许层的数目（例如四层，但是也可以是五层或六层）、关于哪些产品可以在哪些层上（例如某些瓶子只能在顶层上）的层限制等等。每一虚拟货板的图像的尺寸被设定成恒定尺寸（或者至少在特定范围内）并且放置在虚拟背景（例如仓库场景）上。可能存在从中随机选择的多个可用虚拟背景。

所述虚拟货板图像与指示图像上的每一产品的边界的边界框和与每一产品相关联的SKU一起发送到机器学习模型138。所述虚拟货板图像与所述边界框和相关联的SKU一起构成所述机器学习模型的训练数据。

在步骤196中，机器学习模型138基于位置、边界和SKU标签信息分析虚拟货板的图像。更新并存储机器学习模型140。结合验证站32（图1）以及可选地上述递送方法来部署和使用机器学习模型142。机器学习模型138还可以接收在分配中心或商店中拍摄的实际图像，其在识别之后可以被添加到所述机器学习模型。可选地，来自工人的反馈可以考虑是否使用所述图像，例如不使用所识别图像，直到用户有机会证实或反驳所述识别。

图27显示另一替代验证站。装载有货物20的货板22在第一输送机220上载运到转台267。RFID读取器270和至少一个深度相机268邻近转台267定位。当载有货物的货板22到达转台267时，RFID读取器270识别货板22，并且载有货物的货板22在转台267上旋转，使得相机268可以拍摄图像或视频（如前所述），例如载有货物的货板22的四个侧面中的每一者的一个静止图像。如前所述，使用图像来识别货板22上的所有SKU，将其与跟所述货板22相关联的拣货清单进行比较。如果对照拣货清单验证了载有货物的货板22，则将载有货物的货板22移动到第二输送机222，第二输送机222将载有货物的货板22载运到具有转台267和拉伸裹包物272的专用裹包站。在所述裹包站处，用拉伸裹包物裹包载有货物的货板22。如果未对照拣货清单验证载有货物的货板22，则将载有货物的货板22在第三输送机224上移动到审核站226，在审核站226处，工人可以按上文在其它实施例中解释的方式对货板22上的货物20进行校正。

根据专利法规和法律的规定，认为上述示例性配置代表本发明的优选实施例。然而，应注意，可以在不背离本发明的精神或范围的情况下与具体示出和描述不同地实践本发明。方法步骤上的字母数字标识符仅是为了便于在从属权利要求中引用，并且除非另有明确规定，否则此类标识符自身并不表示所需的实施顺序。

Claims (32)

1.一种递送方法，其包括：

（a）接收多个SKU的订单；

（b）基于多个SKU的订单生成拣货单；

（c）基于拣货单组配多个物品；

（d）对所组配的多个物品进行成像以生成至少一个图像；

（e）分析所述至少一个图像以识别所组配的多个物品的SKU；

（f）将在步骤（e）中识别的SKU与拣货单上的SKU进行比较；以及

（g）基于步骤（f）中的比较来指示在步骤（e）中识别的SKU是否匹配拣货单上的SKU。

2.根据权利要求1所述的方法，其中，在所述步骤（c）中，在平台上组配多个物品。

3.根据权利要求2所述的方法，其中，所述平台是货板。

4. 根据权利要求3所述的方法，其进一步包括以下步骤：

（h）在所述步骤（a）-（g）之后，将载有货物的货板移动到与订单相关联的商店；以及

（i）在所述步骤（h）之后，在商店处从载有货物的货板卸下货物。

5. 根据权利要求4所述的方法，其进一步包括以下步骤：

（j）在所述步骤（a）-（h）之后，在商店处对载有货物的货板进行成像以生成至少一个商店图像；以及

（k）在所述步骤（j）之后，分析至少一个商店图像以确认载有货物的货板的有效性。

6. 根据权利要求5所述的方法，其中，所述步骤（k）进一步包括：

（l）分析至少一个商店图像以识别货板上的物品的SKU；以及

（m）将在步骤（l）中识别的SKU与拣货单上的SKU进行比较。

7. 根据权利要求6所述的方法，其进一步包括以下步骤：

（n）在所述步骤（g）中，指示货板上缺少来自拣货单的SKU；以及

（o）在所述步骤（n）之后，将缺少的SKU放置在货板上。

8.根据权利要求6所述的方法，其进一步包括以下步骤：

（n）在步骤（c）之后并且在步骤（h）之前，将裹包物放置在载有货物的货板周围。

9.根据权利要求8所述的方法，其进一步包括以下步骤：

（o）在步骤（h）之后并且在所述步骤（j）之前，从载有货物的货板周围去除裹包物。

10.根据权利要求9所述的方法，其中，步骤（d）由安装到载运裹包物的裹包机的相机实施。

11.根据权利要求10所述的方法，其中，所述步骤（d）在所述步骤（n）期间实施。

12.根据权利要求3所述的方法，其中，所述订单是从多个商店接收的多个订单中的第一个订单，其中，所述货板是多个货板中的一个货板，所述方法进一步包括以下步骤：

（h）将多个订单中的每一订单指派到多个递送路线中的一个递送路线，所述多个递送路线中的每一递送路线将由多个卡车中的一个卡车覆盖；

（i）针对多个递送路线中的每一递送路线，确定将访问沿着每一递送路线的商店的顺序；

（j）基于相关联的递送路线确定将货板装载到多个卡车中的每一卡车上的顺序。

13. 根据权利要求12所述的方法，其进一步包括以下步骤：

（k）当多个货板被装载到多个卡车上时，识别多个货板中的每一货板；以及

（l）与在步骤（j）中确定的顺序进行比较，基于步骤（k）生成反馈。

14.根据权利要求13所述的方法，其中，步骤（k）包括在每一货板接近装货站区时读取每一货板上的RFID的步骤。

15. 根据权利要求1所述的方法，其进一步包括以下步骤：

（h）对新SKU进行成像以生成新SKU的多个图像；以及

（i）将新SKU的多个图像添加到数据库，使得能够在步骤（e）中识别出新SKU。

16. 一种验证系统，其包括：

裹包机，所述裹包机用于将裹包物放置在平台周围，所述平台装载有各自具有相关联的SKU的物品；安装到裹包机的相机，所述相机被配置成在载有货物的平台的裹包之前或期间对载有货物的平台进行成像；以及

计算机，所述计算机编程为分析由相机生成的图像以识别平台上的物品的SKU。

17.根据权利要求16所述的验证系统，其中，所述裹包机包括转台，用于在载有货物的平台的裹包期间在所述转台上接收和旋转载有货物的平台。

18.根据权利要求17所述的验证系统，其中，所述裹包机包括RFID读取器，用于当平台在转台上时读取平台上的RFID标签。

19.根据权利要求16所述的验证系统，其中，所述裹包机被配置成以一卷裹包物围绕载有货物的平台行进，以便在载有货物的平台周围进行裹包。

20.根据权利要求19所述的验证系统，其中，所述裹包机包括RFID读取器，用于读取待裹包平台上的RFID标签。

21.一种用于递送验证的方法，其包括以下步骤：

（a）响应于订单将多个物品带到商店；

（b）在步骤（a）之后对多个物品进行成像以生成至少一个商店图像；

（c）分析至少一个商店图像以确定多个物品的SKU；

（d）将在步骤（c）中确定的SKU与订单进行比较；以及

（e）指示多个物品的SKU是否匹配订单。

22.根据权利要求21所述的方法，其中，步骤（a）中的多个物品在货板上，并且其中，步骤（b）包括对多个物品的多个侧面进行成像，并且其中，至少一个商店图像是多个商店图像；并且其中，步骤（c）包括以下步骤：在多个商店图像中的每一商店图像中确定货板上的多个物品的层，确定在多个商店图像中的每一商店图像中可见的物品的SKU，以及去除出现在多个图像中的多于一个图像中的重复物品。

23.根据权利要求21所述的方法，其进一步包括在步骤（b）之前去除多个物品周围的裹包物的步骤。

24.根据权利要求21所述的方法，其中，所述多个物品是饮料容器的容器。

25. 一种用于将物品添加到递送验证数据库的方法，其包括以下步骤：

（a）对新物品进行成像以生成新物品的多个图像；以及

（b）将新物品的多个图像添加到数据库，使得能够在货板上识别新物品。

26.根据权利要求25所述的方法，其进一步包括对新物品的多个侧面进行成像的步骤。

27.根据权利要求26所述的方法，其进一步包括识别新物品的多个图像中的文本和颜色的步骤。

28.根据权利要求26所述的方法，其进一步包括生成新物品的多个副本的虚拟堆、在机器学习模块中分析虚拟堆的步骤。

29. 一种训练机器学习过程的方法，其包括以下步骤：

（a）生成平台上的多个物品的虚拟图像；以及

（b）在机器学习模型中处理平台上的多个物品的虚拟图像以训练机器学习模型。

30.根据权利要求29所述的方法，其进一步包括指示虚拟图像中的物品的边界并且指示与所述边界相关联的SKU的步骤。

31.根据权利要求30所述的方法，其进一步包括遵循关于生成虚拟图像的一组约束条件的步骤。

32.根据权利要求31所述的方法，其中，所述虚拟图像基于用于创建物品的包装的计算机文件来生成。

Images