CN110817231A - 一种面向物流场景订单拣选方法、设备和系统 - Google Patents

Abstract

本发明公开了一种面向物流场景订单拣选方法、设备和系统，该方法首先接收上位系统发出的订单拣选指令，通过设置视觉传感器采集商品的图像信息，然后在本地或者云端服务器处理商品的图像信息，基于深度学习的方法，规划商品拣取位姿和拣取策略，然后驱动机械臂及其末端执行器以适当的轨迹到达拣选位置，拣选商品，然后把商品放置在指定位置，完成仓库内的拆零拣选作业，达到替代人员进行订单拣选的目的，降低人工劳动强度。本方案基于深度学习算法处理3D数据信息，通过端对端的方式得到商品的拣选位姿和拣选策略，达成了良好的适应性、可靠性和快速部署能力，并可实现了自学习，避免了传统基于模型匹配的方法带来的适应性差、可靠性差等诸多问题。

Description

一种面向物流场景订单拣选方法、设备和系统

技术领域

本发明涉及仓储技术领域，特别涉及一种面向物流场景订单拣选方法、设备和系统。

背景技术

在目前的主流自动化仓库中，基于“货到人”技术实现商品的搬运，大幅度减少了人员的走路时间。

但是，商品的拆零拣选问题仍然需要大量的人员作业，传统的自动化仓库解决方案无法解决商品拆零拣选过程中耗费大量人工做重复性工作的问题。

发明内容

有鉴于此，本发明提供了一种面向物流场景订单拣选方法，解决仓库内物料的自动化拣选问题。

本发明还提供了一种实现上述方法的面向物流场景订单拣选设备和系统。

为实现上述目的，本发明提供如下技术方案：

一种面向物流场景订单拣选方法，包括：

获取目标物品在待拣选环境的图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略；

采用传统方法或基于深度学习的方法获取用于指示机械臂移动至所述拣选位姿的目标路径；

控制所述机械臂按照所述目标路径移动至所述拣选位姿，并控制所述机械臂在所述拣选位姿基于所述拣选策略拣取所述目标物品。

优选地，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的2D图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略包括：将所述2D图像信息处理为3D图像信息，以2D和3D图像信息为输入，采用深度学习算法，计算得到所述目标物品的拣选位姿和拣选策略。

优选地，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的3D图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略包括：基于深度学习算法处理所述3D图像信息，以得到所述目标物品的拣选位姿和拣选策略。

优选地，采用传统方法或基于深度学习的方法获取用于指示机械臂移动至所述拣选位姿的目标路径包括：基于传统示教方法或者基于实时规划确定用于指示机械臂移动至所述拣选位姿的目标路径。

优选地，控制所述机械臂在所述拣选位姿基于所述拣选策略拣取所述目标物品包括：根据所述拣选位姿切换所述机械臂的末端执行器，并控制所述末端执行器按照拣选策略动作，拣取所述目标物品。

优选地，还包括：

监测所述末端执行器拣取的目标物品是否掉落，得到监测结果；

若监测结果为商品掉落，则执行与所述监测结果对应的处理动作。

优选地，在获取目标物品在待拣选环境的图像信息前，还包括：

制定订单拣选策略；

接收订单拣选指令；基于订单拣选策略，将订单命中的目标物品所在周转箱搬运到预设待操作位置。

优选地，还包括：

将机械臂移动到与所述周转箱之间距离在预设范围内的待命位置。

一种面向物流场景订单拣选设备，包括：

通信接口，用于接收图像采集装置发送的目标物品的图像信息；以及将机械臂控制指令发送至机械臂，以控制所述机械臂按照所述目标路径移动至所述拣选位姿，并控制所述机械臂在所述拣选位姿拣取所述目标物品；

处理器，用于处理图像信息，以得到所述目标物品的拣选位姿和拣选策略；确定用于指示机械臂移动至所述拣选位姿的目标路径；生成机械臂控制指令，并将所述机械臂控制指令发送至通信接口。

一种面向物流场景订单拣选系统，包括：

图像采集设备，用于获取目标物品图像信息；

服务器，用于处理图像信息，以得到所述目标物品的拣选位姿和拣选策略；确定用于指示机械臂移动至所述拣选位姿的目标路径；生成机械臂控制指令，并将所述机械臂控制指令发送至机械臂；

机械臂，用于基于机械臂控制指令的控制，按照所述目标路径移动至所述拣选位姿以及在所述拣选位姿拣取所述目标物品。

从上述的技术方案可以看出，本发明提供的面向物流场景订单拣选方法，通过获取目标物品在待拣选环境的图像信息，然后处理图像信息，得到目标物品可供拣选的位置和姿态，并确定适配目标物品的拣选策略，然后驱动机械臂以适当的轨迹到达拣选位置拣取目标物品，从而达到替代人员进行目标物品拣选的目的；

本方案新技术与货到人无人仓技术无缝集成，基于订单数据自动生产订单，实现了仓库拆零拣选的完全无人化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的面向物流场景订单拣选方法的流程图；

图2为本发明实施例提供的基于深度学习的面向物流场景订单拣选方法的流程图；

图3为本发明实施例提供的面向物流场景订单拣选设备的示意图；

图4为本发明实施例提供的面向物流场景订单拣选系统的示意图；

图5为本发明实例提供的订单拣选策略规划示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的面向物流场景订单拣选方法，包括：

S1、获取目标物品在待拣选环境的图像信息；可以理解的是，该图像信息不仅包括：目标物品的自身图像信息，还包括：目标物品周边环境(待拣选环境)的图像信息，可处理这些图像信息得到目标物品在待拣选环境中的摆放位置和摆放姿态；

S2、基于深度学习的方法处理图像信息，以得到目标物品的拣选位姿(包括拣选位置和拣选姿势)及拣选策略(包括末端执行器的选择、拣选动作的时序、目标物品拣选后的感应策略等)；

S3、采用传统方法或基于深度学习的方法获取用于指示机械臂移动至拣选位姿的目标路径；

S4、控制机械臂按照目标路径移动至拣选位姿，并控制机械臂在拣选位姿基于所述拣选策略拣取目标物品。

从上述的技术方案可以看出，本发明实施例提供的面向物流场景订单拣选方法，通过获取目标物品在待拣选环境的图像信息，然后处理图像信息，得到目标物品可供拣选的位置和姿态，并确定拣选目标物品的拣选策略，然后驱动机械臂以适当的轨迹到达拣选位置，基于设定的拣选策略，拣取目标物品，从而达到替代人员进行目标物品拣选的目的，提高了自动化程度和效率；基于不同的订单类型，采取不同的订单拣选策略，以高效率地完成订单拣选；

本方案新技术与货到人无人仓技术无缝集成，基于订单数据自动生产订单，实现了仓库拆零拣选的完全无人化，降低人工劳动强度；

且基于深度学习算法处理图像，通过端对端的方式得到商品的拣选位姿和拣选策略，达成了良好的适应性、可靠性和快速部署能力，并可实现自学习，避免了传统基于模型匹配的方法带来的适应性差、匹配可靠性差、调试时间长、无法自学习等诸多问题。具体而言：

深度学习算法模型可部署于云端，在算法训练及实际部署过程中可基于大量历史运行数据不断优化商品的拣选位姿评估信息，不断提升拣选成功率，具有自学习，自动纠错，持续优化的能力；

深度学习算法具有适配性强、迁移性强的显著优势，同一套算法模型可适配万级以上的sku商品的视觉拣选规划问题，对于实际业务模式具有极强的适应性；

对于新商品，深度学习算法可提供一定的算法迁移能力，原有规划算法模型可快速应用于新商品，避免了传统算法的数据重新标注、信息重新录入问题；

在算法的数据量积累到一定程度以后，系统在部署于新应用场景时无需再进行算法调试和运行测试，只经过简单的硬件部署和借口调试即可投入正常交付使用，避免了传统算法长时间的算法优化和调试工作。

优选的，处理图像信息，以得到目标物品的拣选策略包括：基于商品的2D或3D图像信息，以及有关商品尺寸、重量、外表面形式的先验信息，基于深度学习或者预先设定的方法，确定对于目标商品的拣选策略。

具体的，拣选策略包括但不限于：末端执行器的选择，末端执行器中某一驱动模块的启动/释放顺序和时间间隔，机械臂末端执行器接近目标商品拣选位姿的方法，检测目标商品是否被拣取到的方法，检测目标商品是否掉落的方法。

作为优选，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的2D图像信息；

基于深度学习的方法处理图像信息包括，以得到目标物品的拣选位姿和拣选策略包括：将2D图像信息处理为3D图像信息，以2D和3D图像信息为输入，采用深度学习算法，计算得到目标物品的拣选位姿和拣选策略。

即，相比于现有技术中的采用2D图像，本方案将2D图像转换为3D图像信息，以2D和3D图像信息为输入，采用深度学习算法，计算得到目标物品可供拣选的位置和姿态，更加准确和高效。

为了进一步优化上述的技术方案，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的3D图像信息(可包括：轮廓信息和三维深度信息)；

基于深度学习的方法处理图像信息，以得到目标物品的拣选位姿和拣选策略包括：基于深度学习算法处理3D图像信息，以得到目标物品的拣选位姿和拣选策略。

即，相比于现有技术中的采集2D图像，本方案直接获取3D图像信息，更加准确和高效。

在本实施例中，采用传统方法或基于深度学习的方法获取用于指示机械臂移动至拣选位姿的目标路径包括：基于传统示教方法或者基于实时规划确定用于指示机械臂移动至拣选位姿的目标路径。基于预先示教确定目标路径处理时间短，可提高反应速度；实时规划目标路径能够更好适应现场情况，并且可以在任务执行过程中不断对路径进行优化。

具体的，控制机械臂在拣选位姿基于特定的拣选策略拣取目标物品包括：根据拣选位姿切换机械臂的末端执行器，并控制末端执行器按照拣选策略进行时序动作，拣取目标物品，并实时监测被拣取的目标物品是否掉落。即分别由机械臂本体完成至拣选位姿目标路径移动的大动作，和由机械臂的末端执行器完成拣取的小动作，能够更好发挥各设备自己的优点，大动作效率更高，小动作更加精细；且可针对不同目标物品拣选位姿自动切换至相应的末端执行器，精确高效。

本发明实施例提供的面向物流场景订单拣选方法，还包括：监测末端执行器拣取的目标物品是否掉落，得到监测结果；

若监测结果为商品掉落，则执行与监测结果对应的处理动作，如发出掉落提示或者重新尝试拣选等，以便于系统和人员及时处理异常情况。

本发明实施例提供的面向物流场景订单拣选方法，在获取目标物品在待拣选环境的图像信息前，还包括：

制定订单拣选策略；如图5所示，管理系统基于不同的订单类型，设定了不同的订单拣选策略。对于单件订单，采用一对一的方式拣选，拣选出的所有单件订单统一放置于单一容器内，对于多件订单，根据业务类型，采用按单拣选或者波次拣选的方式进行，对于一对多拣选，每个被拣选的多件订单放置在一个单独的小容器内；对于波次拣选，系统将多个订单组成波次以后基于波次进行拣选；对于紧急订单，紧急订单拣选出的商品放置于专用容器内加速处理。

接收订单拣选指令：订单拣选指令通常由上位管理系统发出基于订单拣选策略，将订单命中的目标物品所在周转箱搬运到预设待操作位置，以便于对目标物品在待拣选环境(此时即为目标物品在周转箱中)进行图像信息的采集，以及在空旷环境中方便对周转箱中目标物品的拣选拣取，同时也满足货到人技术要求。

本发明实施例提供的面向物流场景订单拣选方法，还包括：

将机械臂移动到与周转箱之间距离在预设范围内的待命位置，以等待后续指令便于及时响应。还可将图像采集设备安装于机械臂，由其获取目标物品在待拣选环境的图像信息，提高装置的集成度。

机械臂在拣取商品完成，尚未放置商品之前，图像采集装置立即开始下一次拣选的数据采集工作，并发送到服务器进行拣选位姿和拣选策略规划，以实现规划与机械臂动作的并行动作，提升系统的拣选响应速度。

下面结合具体实施例对本方案的控制方法作进一步介绍：

该方案的实现方法包括如下：

步骤一：业务系统基于订单数据规划订单拣选策略，下达订单拣选指令，由货到人物流系统将订单命中的周转箱搬运到指定位置，等待机械臂拣选；

步骤二：机械臂调整姿态，移动到待拣选周转箱侧面的指定等待位置；

步骤三：安装于机械臂上或者固定位置的图像传感器采集待拣选周转箱的图像，并将图像保存于本体服务器内；

步骤四：本地服务器对采集到的图像进行处理，将数据发送到云端，由云端服务器处理数据并测算得出可供机械臂拣选或者直接基于本地部署的算法，计算得出可供机械臂拣选的位姿，并确定面向目标商品的拣选策略；

步骤五：本地服务器获取机械臂拣选位姿和拣选策略信息后，向机械臂下达动作指令，机械臂基于预先示教或者实时规划的路径移动到此拣选位姿；

步骤六：末端执行器基于设定的拣选策略动作，拣选目标商品，末端执行器上的传感器实时监测目标商品的拣选状态，主要监测商品是否掉落；

步骤七：机械臂上的末端执行器携带被拣选商品移动到指定商品放置点，释放商品，完成一次商品拣选过程；

步骤八：本地服务器向业务系统返回订单拣选的作业完成信息，更新订单状态并准备进行下一次的拣选。

该新技术与传统方案相比的亮点是：

1.相比于传统机器视觉的2D图像，本方案将2D图像处理为3D图像，或者直接采用3D视觉传感器采集数据；

2.基于深度学习算法处理3D数据信息，直接得到商品的拣选位姿，达成了良好的适应性、可靠性和快速部署能力，并可实现自学习，避免了传统基于模型的方法带来的适应性差、匹配可靠性差、调试时间长、无法自学习等诸多问题；

3.该新技术与货到人无人仓技术无缝集成，基于订单数据自动生产订单，实现了仓库拆零拣选的完全无人化。

本发明实施例还提供了一种面向物流场景订单拣选设备，如图3所示，包括：

通信接口，用于接收图像采集装置发送的目标物品的图像信息；以及将机械臂控制指令发送至机械臂，以控制机械臂按照目标路径移动至拣选位姿，并控制机械臂在拣选位姿拣取目标物品；

处理器，用于处理图像信息，以得到目标物品的拣选位姿和拣选策略；确定用于指示机械臂移动至拣选位姿的目标路径；生成机械臂控制指令，并将机械臂控制指令发送至通信接口。

本发明实施例还提供了一种面向物流场景订单拣选系统，如图4所示，包括：

图像采集设备，用于获取目标物品图像信息；

服务器，用于处理图像信息，以得到目标物品的拣选位姿；确定用于指示机械臂移动至拣选位姿的目标路径；生成机械臂控制指令，并将机械臂控制指令发送至机械臂；

机械臂，用于基于机械臂控制指令的控制，按照目标路径移动至拣选位姿以及在拣选位姿拣取目标物品。

下面结合具体实施例对本方案的硬件作进一步介绍：

该方案的设备包括：

部件1：机械臂本体：机械臂本体为本方案的基础部件，作为拣选动作的执行器，机械臂沿着预先规划的轨迹运行，拣选指定的商品，机械臂本体可采用国内外主流品牌的工业或者协作型机械臂，工作半径500～1500mm，安装于固定或者可移动安装座上，机械臂形式可为六轴机械臂/四轴机械臂/scara机械臂/直角坐标型机械臂/并联机械臂的任意一种，机械臂末端安装有末端执行器，用来拣选特定种类的商品，机械臂特定关节处可能安装有图像采集设备，用于采集待拣选商品的图像信息。

部件2：图像信息采集设备：图像采集设备安装于机械臂或者外部固定的装置上，用于采集待拣选商品的图像信息，图像采集设备可为一个或多个二维/三维图像传感器，采集待拣选商品的二维或三维图像信息。在实际运用过程中，图像信息采集设备需预先进行内外参数的标定，确定其与机械臂的位姿变换关系以后，才可实际使用。

部件3：机械臂末端执行器：机械臂末端执行器安装于机械臂本体末端的连接轴或者连接法兰上，机械臂末端执行器可为一个或多个吸盘、气动手爪、电动手爪的组合，并且可加入快速换爪装置进行多种末端执行器的快速切换，机械臂末端执行器的作用，是在机械臂移动到指定的拣选位姿后，启动末端执行器，通过吸盘吸附或者手爪拣取的方式拣选商品，并在商品拣选和移动的过程中，提供商品是否掉掉落的提示,在机械臂携带商品到达指定位置后，释放商品并准备进行下一次拣选。

部件4：本地服务器：本地服务器用于记录并处理图像信息采集设备采集的待拣选商品图像信息，并与云端服务器进行数据交互，将处理后的待拣选商品图像信息发送到云端服务器，并获取云端服务器返回的拣选位姿信息，本地服务器将拣选位姿信息发送到机械臂，控制机械臂前往指定的位姿，并接收机械臂的拣选状态反馈信息，引导机械臂完成商品拣选动作。

部件5：外围输送设备：外围输送设备包含货到人仓储系统、可移动滑台、播种墙等设备，主要作用是为机械臂的拣选作业供给待拣选物料，驱动机械臂前往待拣选物料的侧面完成商品拣选，并接收拣选完毕的商品。

该方案的系统包括：

单元一：机械臂拣选的硬件执行系统：机械臂拣选的硬件执行系统包括机械臂、末端执行器、视觉传感器、外围输送系统等部件，在拣选作业执行的过程中，外围输送系统负责将商品输送到机械臂前方供机械臂拣选，视觉传感器负责采集图像信息，机械臂负责携带末端执行器移动到指定位置，末端执行器负责拣选商品并反馈商品的拣选状态信息。硬件执行系统为完成商品的拣选提供了基础的硬件设备和作业流程的支持。

单元二：云端视觉规划算法：云端视觉规划算法接收本地视觉传感器采集，并由本地服务器处理的图像信息，基于深度学习技术，计算得到当前图像数据中，可供机械臂拣选的最理想位姿，并下发到本地服务器，驱动机械臂进行拣选作业。

模块三：应用于拆零订单拣选的业务系统：业务系统用于接收来自客户的订单信息，协同货到人仓储系统和机械臂订单拣选系统，下达货到人物流指令和订单拣选指令，适时监控物流和订单拣选的执行状态，输出拣选完毕的客户订单，实现基于客户实际订单业务的商品拣选。

综上所述，本发明公开了一种面向物流场景订单拣选设备、系统及方法，该方法先接收上位系统发出的订单拣选指令，通过设置视觉传感器采集商品的图像信息(包括二维图像信息、轮廓信息和三位深度信息)，然后在本地或者云端服务器处理商品的图像信息，基于深度学习的方法，规划商品拣取位姿和拣取策略，然后驱动机械臂及其末端执行器以适当的轨迹到达拣选位置，拣选商品，然后把商品放置在指定位置，完成仓库内的拆零拣选作业，而达到替代人员进行订单拣选的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种面向物流场景订单拣选方法，其特征在于，包括：

获取目标物品在待拣选环境的图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略；

采用传统方法或基于深度学习的方法获取用于指示机械臂移动至所述拣选位姿的目标路径；

控制所述机械臂按照所述目标路径移动至所述拣选位姿，并控制所述机械臂在所述拣选位姿基于所述拣选策略拣取所述目标物品。

2.根据权利要求1所述的面向物流场景订单拣选方法，其特征在于，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的2D图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略包括：将所述2D图像信息处理为3D图像信息，以2D和3D图像信息为输入，采用深度学习算法，计算得到所述目标物品的拣选位姿和拣选策略。

3.根据权利要求1所述的面向物流场景订单拣选方法，其特征在于，获取目标物品在待拣选环境的图像信息包括：获取目标物品在待拣选环境的3D图像信息；

基于深度学习的方法处理所述图像信息，以得到所述目标物品的拣选位姿和拣选策略包括：基于深度学习算法处理所述3D图像信息，以得到所述目标物品的拣选位姿和拣选策略。

4.根据权利要求1所述的面向物流场景订单拣选方法，其特征在于，采用传统方法或基于深度学习的方法获取用于指示机械臂移动至所述拣选位姿的目标路径包括：基于传统示教方法或者基于实时规划确定用于指示机械臂移动至所述拣选位姿的目标路径。

5.根据权利要求1所述的面向物流场景订单拣选方法，其特征在于，控制所述机械臂在所述拣选位姿基于所述拣选策略拣取所述目标物品包括：根据所述拣选位姿切换所述机械臂的末端执行器，并控制所述末端执行器按照拣选策略动作，拣取所述目标物品。

6.根据权利要求5所述的面向物流场景订单拣选方法，其特征在于，还包括：

监测所述末端执行器拣取的目标物品是否掉落，得到监测结果；

若监测结果为商品掉落，则执行与所述监测结果对应的处理动作。

7.根据权利要求1所述的面向物流场景订单拣选方法，其特征在于，在获取目标物品在待拣选环境的图像信息前，还包括：

制定订单拣选策略；

接收订单拣选指令；基于订单拣选策略，将订单命中的目标物品所在周转箱搬运到预设待操作位置。

8.根据权利要求7所述的面向物流场景订单拣选方法，其特征在于，还包括：

将机械臂移动到与所述周转箱之间距离在预设范围内的待命位置。

9.一种面向物流场景订单拣选设备，其特征在于，包括：

通信接口，用于接收图像采集装置发送的目标物品的图像信息；以及将机械臂控制指令发送至机械臂，以控制所述机械臂按照所述目标路径移动至所述拣选位姿，并控制所述机械臂在所述拣选位姿拣取所述目标物品；

处理器，用于处理图像信息，以得到所述目标物品的拣选位姿和拣选策略；确定用于指示机械臂移动至所述拣选位姿的目标路径；生成机械臂控制指令，并将所述机械臂控制指令发送至通信接口。

10.一种面向物流场景订单拣选系统，其特征在于，包括：

图像采集设备，用于获取目标物品图像信息；

服务器，用于处理图像信息，以得到所述目标物品的拣选位姿和拣选策略；确定用于指示机械臂移动至所述拣选位姿的目标路径；生成机械臂控制指令，并将所述机械臂控制指令发送至机械臂；

机械臂，用于基于机械臂控制指令的控制，按照所述目标路径移动至所述拣选位姿以及在所述拣选位姿拣取所述目标物品。

Images