CN111439594A - 基于3d视觉引导的拆垛方法和系统 - Google Patents

Abstract

本发明提供了一种基于3D视觉引导的拆垛方法和系统，涉及物流仓储的技术领域，包括基于3D视觉获取垛料的点云数据和图像数据；通过实例分割算法从图像数据中识别出目标箱体，并根据点云数据确定目标箱体的当前位置坐标；根据目标箱体的当前位置坐标和机械手的当前位置坐标规划机械手到目标箱体的路径信息，以使机械手按照路径信息从垛料中抓取目标箱体，并将目标箱体放置于目标位置，替代人工完成拆垛，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高。

Description

基于3D视觉引导的拆垛方法和系统

技术领域

本发明涉及物流仓储技术领域，尤其是涉及一种基于3D视觉引导的拆垛方法和系统。

背景技术

拆垛作为物流的重要环节之一，传统方式一般是人工拆垛，采用人工的工作效率低，尤其是网购盛行的时代，遇到双十一等货物量大时，易爆仓，人的工作强度太大，长时间拆垛，易疲劳导致出现工作疏漏，一旦拆垛出现错误，不好查找溯源，人工受自身身体，体力情况影响，容易导致拆垛的工作性能不稳定。

发明内容

有鉴于此，本发明的目的在于提供一种基于3D视觉引导的拆垛方法和系统，替代人工完成拆垛，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高。

第一方面，实施例提供一种基于3D视觉引导的拆垛方法，包括：

基于3D视觉获取垛料的点云数据和图像数据；

通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

在可选的实施方式中，所述目标箱体设置有标签，所述方法还包括：

根据所述目标箱体的轮廓和位置坐标确定所述目标箱体的标签位置。

在可选的实施方式中，所述方法还包括：

基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证。

在可选的实施方式中，通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标的步骤，包括：

根据所述图像数据得到所述目标箱体对应的像素坐标和像素值；

通过实例分割算法和所述像素值，从所述图像数据中识别出目标箱体的轮廓；

根据所述像素值、所述像素坐标和所述点云数据，得到所述目标箱体的当前位置坐标。

在可选的实施方式中，基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证的步骤，包括：

基于所述标签位置确定所述目标箱体的标签验证侧；

控制所述机械手将所述目标箱体的标签验证侧朝向验证装置，对所述标签进行验证。

在可选的实施方式中，所述方法还包括：

获取所述目标箱体的中心点坐标；

根据所述中心点坐标与预设地面坐标，确定所述目标箱体的对地距离；

在所述对地距离达到预设距离阈值的情况下，控制所述机械手将所述目标箱体放置于目标位置。

在可选的实施方式中，所述图像数据中包括多个目标箱体，在根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息的步骤之前，还包括：

根据机械手的当前位置坐标和多个所述目标箱体的当前位置坐标，从多个所述目标箱体中选择出优先规划的目标箱体。

第二方面，实施例提供一种基于3D视觉的拆垛系统，包括：

获取模块，用于基于3D视觉获取垛料的点云数据和图像数据；

识别模块，用于通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

规划模块，用于根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

第三方面，实施例提供一种电子设备，所述电子设备，包括：

存储介质；

处理器；以及

基于3D视觉的拆垛系统，所述系统存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述系统包括：

获取模块，用于基于3D视觉获取垛料的点云数据和图像数据；

识别模块，用于通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

规划模块，用于根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

第四方面，实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任意一项所述的基于3D视觉的拆垛方法。

本发明实施例提供了一种基于3D视觉引导的拆垛方法和系统，通过3D视觉技术获取点云数据和图像数据，通过实例分割算法从图像数据中识别从出目标箱体，对应在点云数据中得到目标箱体对应的位置坐标，再根据机械手的当前位置坐标，规划机械手到目标箱体的路径信息，使得机械手按照路径信息抓取目标箱体，并将目标箱体放置在目标位置，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高，代替人工完成拆垛操作。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于3D视觉引导的拆垛方法流程图；

图2为本发明实施例提供的一种垛料堆放示意图；

图3为本发明实施例提供的一种基于3D视觉引导的拆垛系统的功能模块图；

图4为本发明实施例提供的一种硬件设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，存在的人工拆垛工作效率低，遇到货物量大时，易爆仓，人易疲劳易出现工作疏漏，工作性能不稳定等问题。

基于此，本发明实施例提供的一种基于3D视觉引导的拆垛方法和系统，基于3D视觉引导机械手替代人工完成拆垛，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于3D视觉引导的拆垛方法进行详细介绍。

图1为本发明实施例提供的一种基于3D视觉引导的拆垛方法流程图。

参照图1，基于3D视觉引导的拆垛方法，包括以下步骤：

步骤S102，基于3D视觉获取垛料的点云数据和图像数据；

步骤S104，通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

步骤S106，根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体。

在实际应用的优选实施例中，通过3D视觉技术获取点云数据和图像数据，通过实例分割算法从图像数据中识别从出目标箱体，对应在点云数据中得到目标箱体对应的位置坐标，再根据机械手的当前位置坐标，规划机械手到目标箱体的路径信息，使得机械手按照路径信息抓取目标箱体，并将目标箱体放置在目标位置，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高，代替人工完成拆垛操作。

需要说明的是，机械手抓取目标箱体拆垛之后，一般将目标箱体输出到产线，拆包后，对目标箱体中的物料进行生产处理，或将目标箱体再进行运输邮寄。本发明实施例还对抓取目标箱体后到目标位置的路线进行规划，以节省操作时间。

对于步骤S102来说，可利用双目3D相机来拍摄照片，完成图像采集，获得点云数据和图像数据，并根据实例分割的识别算法从照片中识别需要抓取的纸箱(目标箱体)。其中，通过双目3D相机可获取物体在空间内的信息，并生成具有深度信息的点云数据和描述物体特征信息的图像数据，图像数据包括灰度图片或彩色图片(以实际应用设备为准)。这里，双目3D相机可安装在仓库顶部，拍摄垛料的俯视图。

在可选的实施方式中，所述目标箱体设置有标签，该方法还包括：

步骤1.1)，根据所述目标箱体的轮廓和位置坐标确定所述目标箱体的标签位置。

在一些应用场景中，为了便于仓储箱体货品的检查确认，需要在箱体上设置标签，此时在拆垛过程中，还需对目标箱体上的标签进行准确识别，以保证对货品信息的记录验证。本发明实施例提供的方法还包括：

步骤1.2)，基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证。

在可选的实施方式中，步骤S104，包括：

步骤2.1)，根据所述图像数据得到所述目标箱体对应的像素坐标和像素值；

步骤2.2)，通过实例分割算法和所述像素值，从所述图像数据中识别出目标箱体的轮廓；

步骤2.3)，根据所述像素值、所述像素坐标和所述点云数据，得到所述目标箱体的当前位置坐标。

这里，根据像素值和点云数据，得到所述目标箱体的点云z轴深度坐标，根据像素坐标、点云数据和标定转换数据得到点云x、y方向的坐标，进而得到目标箱体的当前位置坐标。

其中，本发明实施例中的识别算法是从照片中识别出要抓取的纸箱。识别过程采用基于Mask R-CNN深度学习框架的实例分割算法，该算法因其较高的性能被认为是目前最佳的实例分割算法，最终可实现箱子的识别和位置估计。

在可选的实施方式中，步骤1.2)，还包括：

步骤3.1)，基于所述标签位置确定所述目标箱体的标签验证侧；

其中，基于目标箱体的当前位置坐标能够分析箱子在垛中位置并预测箱子上条码贴放位置，如果箱子在垛中(左侧)位置，则标签在箱子(左侧短边)位置；如果箱子在垛中(右侧)位置，则标签在箱子(右侧短边)位置；如果箱子在垛中(前侧)位置，则标签在箱子(前侧短边)位置；如果箱子在垛中(后侧)位置，则标签在箱子(后侧短边)位置。即在码垛时，会注意将外标签的一侧码在垛料外侧，确保标签不被遮挡。图2中黑色标识为预测的标签位置。

步骤3.2)，控制所述机械手将所述目标箱体的标签验证侧朝向验证装置，对所述标签进行验证。

这里，机械手抓着箱子到扫码枪前验证预测出来的位置是否存在条码，如果没有条码就旋转纸箱继续寻找条码，直到扫码成功；若找到标签，验证成功，便于放下箱子时让标签朝向制定的位置，即标签朝外(朝垛料外侧)。

在可选的实施方式中，该方法还包括：

步骤4.1)，获取所述目标箱体的中心点坐标；

步骤4.2)，根据所述中心点坐标与预设地面坐标，确定所述目标箱体的对地距离；

步骤4.3)，在所述对地距离达到预设距离阈值的情况下，控制所述机械手将所述目标箱体放置于目标位置。

这里，可通过在地面设置激光传感器，预设已知坐标的激光传感器，通过激光测距方式测出箱子中心点坐标，进而得到测量对地距离，若达到距离阈值，则此时机械手放下箱子。

在可选的实施方式中，所述图像数据中包括多个目标箱体，在步骤S106之前，还包括：

步骤5.1)，根据机械手的当前位置坐标和多个所述目标箱体的当前位置坐标，从多个所述目标箱体中选择出优先规划的目标箱体。

这里，可将路径信息发送给控制单元，控制单元再控制机械手按照路径信息抓取箱子，这里，控制单元可分解路径信息，以使机械手按照分解的路径信息依次执行动作，完成箱子的抓取。具体地，基于视觉识别出的目标箱体位置结合现场环境规划出机械手动作路线，并将此路径发送给控制单元，然后由控制单元将规划好的路径解析，分解动作。

这里，图像数据中可能包括多个目标箱体，作为一种可能的实施例，根据各个目标箱体的坐标位置与机械手的坐标位置之间的距离来选择优选规划哪个目标箱体，一般选择距离最近的目标箱体进行规划。

本发明实施例提供的基于3D视觉的拆码系统及拆垛方法根据任务指令触发3D相机拍照、识别并规划机械手动作路径并发送给机械手控制单元，控制单元根据规划好的路径解析成动作队列，控制器控制机械手或机器人依次执行该动作队列，替代人工完成拆垛，工作效率高、不易疲劳、工作性能较为稳定、拆分货物的准确率高。系统的自动化程度、安全性高、便于管理。消除了人工拆垛，存在的安全隐患。

如图3所示，实施例提供还一种基于3D视觉的拆垛系统，包括：

获取模块，用于基于3D视觉获取垛料点云数据和图像数据；

识别模块，用于通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

规划模块，用于根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

在可选的实施方式中，所述目标箱体设置有标签，还包括确定模块，用于根据所述目标箱体的轮廓和位置坐标确定所述目标箱体的标签位置。

在可选的实施方式中，还包括验证模块，用于基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证。

在可选的实施方式中，识别模块，还用于根据所述图像数据得到所述目标箱体对应的像素坐标和像素值；通过实例分割算法和所述像素值，从所述图像数据中识别出目标箱体的轮廓；根据所述像素值、所述像素坐标和所述点云数据，得到所述目标箱体的当前位置坐标。

在可选的实施方式中，验证模块，还用于基于所述标签位置确定所述目标箱体的标签验证侧；控制所述机械手将所述目标箱体的标签验证侧朝向验证装置，对所述标签进行验证。

在可选的实施方式中，还包括测距模块，用于获取所述目标箱体的中心点坐标；根据所述中心点坐标与预设地面坐标，确定所述目标箱体的对地距离；在所述对地距离达到预设距离阈值的情况下，控制所述机械手将所述目标箱体放置于目标位置。

在可选的实施方式中，所述图像数据中包括多个目标箱体，还包括选择模块，用于根据机械手的当前位置坐标和多个所述目标箱体的当前位置坐标，从多个所述目标箱体中选择出优先规划的目标箱体。

本发明实施例提供的基于3D视觉引导的拆垛系统，与上述实施例提供的基于3D视觉引导的拆垛方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

进一步地，如图4所示，是本发明实施例提供的用于实现所述基于3D视觉引导的拆垛方法的电子设备300的示意图。本实施例中，所述电子设备300可以是，但不限于，个人电脑(Personal Computer，PC)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。

图4为本发明实施例提供的电子设备300的硬件架构示意图。参见图4所示，该计算机设备包括：机器可读存储介质301和处理器302，还可以包括非易失性介质303、通信接口304和总线305；其中，机器可读存储介质301、处理器302、非易失性介质303和通信接口304通过总线305完成相互间的通信。处理器302通过读取并执行机器可读存储介质301中基于3D视觉引导的拆垛方法的机器可执行指令，可执行上文实施例描述基于3D视觉引导的拆垛方法。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的基于3D视觉引导的拆垛方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于3D视觉引导的拆垛方法，其特征在于，包括：

基于3D视觉获取垛料的点云数据和图像数据；

通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从所述垛料中抓取所述目标箱体。

2.根据权利要求1所述的拆垛方法，其特征在于，所述目标箱体设置有标签，所述方法还包括：

根据所述目标箱体的轮廓和位置坐标确定所述目标箱体的标签位置。

3.根据权利要求2所述的拆垛方法，其特征在于，所述方法还包括：

基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证。

4.根据权利要求1所述的拆垛方法，其特征在于，通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标的步骤，包括：

根据所述图像数据得到所述目标箱体对应的像素坐标和像素值；

通过实例分割算法和所述像素值，从所述图像数据中识别出目标箱体的轮廓；

根据所述像素值、所述像素坐标和所述点云数据，得到所述目标箱体的当前位置坐标。

5.根据权利要求3所述的拆垛方法，其特征在于，基于所述标签位置控制所述机械手抓取所述目标箱体，对所述目标箱体的标签进行验证的步骤，包括：

基于所述标签位置确定所述目标箱体的标签验证侧；

控制所述机械手将所述目标箱体的标签验证侧朝向验证装置，对所述标签进行验证。

6.根据权利要求1所述的拆垛方法，其特征在于，所述方法还包括：

获取所述目标箱体的中心点坐标；

根据所述中心点坐标与预设地面坐标，确定所述目标箱体的对地距离；

在所述对地距离达到预设距离阈值的情况下，控制所述机械手将所述目标箱体放置于目标位置。

7.根据权利要求1所述的拆垛方法，其特征在于，所述图像数据中包括多个目标箱体，在根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息的步骤之前，还包括：

根据机械手的当前位置坐标和多个所述目标箱体的当前位置坐标，从多个所述目标箱体中选择出优先规划的目标箱体。

8.一种基于3D视觉的拆垛系统，其特征在于，包括：

获取模块，用于基于3D视觉获取点云数据和图像数据；

识别模块，用于通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

规划模块，用于根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

9.一种电子设备，其特征在于，所述电子设备，包括：

存储介质；

处理器；以及

基于3D视觉的拆垛系统，所述系统存储于所述存储介质中并包括由所述处理器执行的软件功能模块，所述系统包括：

获取模块，用于基于3D视觉获取点云数据和图像数据；

识别模块，用于通过实例分割算法从所述图像数据中识别出目标箱体，并根据所述点云数据确定所述目标箱体的当前位置坐标；

规划模块，用于根据所述目标箱体的当前位置坐标和机械手的当前位置坐标规划所述机械手到所述目标箱体的路径信息，以使所述机械手按照所述路径信息从垛料中抓取所述目标箱体，并将所述目标箱体放置于目标位置。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任意一项所述的基于3D视觉的拆垛方法。

Images