CN110653172A - 基于三维视觉的产品分拣处理系统及方法 - Google Patents

Abstract

本发明公开一种基于三维视觉的产品分拣处理系统及方法。该系统包括：分拣控制器；分拣池机构，包括用于放置物料的分拣池；三维视觉机构，设置所述分拣池上方并与所述分拣控制器相连，用于在所述分拣控制器的控制下，采集放置在所述分拣池上的物料对应的物料三维图像，基于所述物料三维图像识别出目标物料对应的识别定位信息，并将所述识别定位信息发送给所述分拣控制器；分拣执行机构，设置在所述分拣池外围并与所述分拣控制器相连，用于在所述分拣控制器的控制下，根据所述识别定位信息进行物料分拣。该系统可保证分拣过程中的准确率和可执行性，以避免因目标物料的形状、相互遮挡或相互堆叠而导致无法进行物料分拣。

Description

基于三维视觉的产品分拣处理系统及方法

技术领域

本发明涉及机器视觉控制技术领域，尤其涉及一种基于三维视觉的产品分拣处理系统及方法。

背景技术

近年来分拣技术在仓储、物流等行业的应用越来越广，分拣的自动化程度也越来越高。现有的分拣系统主要基于条码识别、二维码识别或者二维视觉识别技术。其中，条码识别和二维码识别的使用范围局限于被分拣对象需有条形码或二维码等识别码标识。二维视觉识别则需提前处理被分拣对象，使被分拣对象相互间没有遮挡、堆叠等相互干扰；而且，二维视觉识别过程中只能提供二维平面的坐标信息，对形状特殊的被分拣对象进行分拣时容易导致分拣过程拾取失败，即基于二维视觉识别的分拣系统主要应用在被分拣对象无特殊形状，且被分拣对象不存在相互遮挡和堆叠的情况。

发明内容

针对基于二维视觉识别的分拣系统在分拣过程中因特殊形状、或者被分拣对象相互遮挡和堆叠而影响分拣工作正常运行的问题，提供一种基于三维视觉的产品分拣处理系统及方法。

本发明提供一种基于三维视觉的产品分拣处理系统，包括：

分拣控制器；

分拣池机构，包括用于放置物料的分拣池；

三维视觉机构，设置所述分拣池上方并与所述分拣控制器相连，用于在所述分拣控制器的控制下，采集放置在所述分拣池上的物料对应的物料三维图像，基于所述物料三维图像识别出目标物料对应的识别定位信息，并将所述识别定位信息发送给所述分拣控制器；

分拣执行机构，设置在所述分拣池外围并与所述分拣控制器相连，用于在所述分拣控制器的控制下，根据所述识别定位信息进行物料分拣。

优选地，所述分拣池机构还包括与所述分拣池和所述分拣控制器相连的分拣运动单元，用于在所述分拣控制器的控制下，翻转所述分拣池上放置的所述物料。

优选地，所述分拣池包括分拣柱和设置在所述分拣柱外围的至少一个分拣环；所述分拣运动单元与所述分拣柱相连，用于控制所述分拣柱沿所述分拣柱轴向方向往复运动；所述分拣运动单元与所述分拣环相连，用于控制所述分拣环沿所述分拣环轴向方向往复运动。

优选地，所述三维视觉机构包括三维相机和视觉处理单元，所述三维相机设置在所述分拣池的正上方，用于采集放置在所述分拣池上的物料对应的物料三维图像；所述视觉处理单元与所述三维相机相连，用于基于所述物料三维图像识别出目标物料对应的识别定位信息。

优选地，所述三维视觉机构还包括视觉光源，所述视觉光源设置在所述分拣池的正上方且位于所述三维相机正下方。

优选地，所述分拣执行机构包括至少一个接料口，所述分拣控制器与设置在所述分拣池外围的至少一分拣机器人相连，根据所述识别定位信息向所述分拣机器人发送物料分拣指令，并通过接料口接收所述目标物料。

本发明提供一种基于三维视觉的产品分拣处理方法，包括分拣控制器执行的如下步骤：

获取分拣订单信息，所述分拣订单信息包括目标物料；

控制三维视觉机构采集放置在所述分拣池上的物料对应的物料三维图像，获取基于所述物料三维图像识别出目标物料对应的识别定位信息；

控制分拣执行机构根据所述识别定位信息进行物料分拣。

优选地，所述分拣订单信息包括与所述目标物料相对应的物料数量；

所述控制分拣执行机构根据所述识别定位信息进行物料分拣，包括：

根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口；

更新每一所述目标物料对应的当前数量，判断所有所述目标物料对应的当前数量是否均与对应的所述物料数量相匹配；

若所有所述目标物料对应的当前数量均与对应的所述物料数量相匹配，则完成目标产品对应的物料分拣操作。

优选地，在所述更新每一所述目标物料对应的当前数量，判断所有所述目标物料对应的当前数量是否均与对应的所述物料数量相匹配之后，所述产品分拣处理方法还包括：

若存在所述目标物料对应的当前数量与对应的所述物料数量不匹配，且不存在未分拣的目标物料对应的识别定位信息时，重复执行所述控制三维视觉机构采集放置在所述分拣池上的物料对应的物料三维图像，获取基于所述物料三维图像识别出目标物料对应的识别定位信息；或者，

若存在所述目标物料对应的当前数量与对应的所述物料数量不匹配，且存在未分拣的目标物料对应的识别定位信息时，重复执行所述根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口。

优选地，所述识别定位信息包括位置信息和姿态信息；

所述根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口，包括：

根据所述位置信息和每一所述分拣机器人对应的分拣区域，确定目标机器人；

依据所述姿态信息，调整所述目标机器人的拾取角度，将所述目标物料从所述分拣池拾取到对应的接料口。

上述基于三维视觉的产品分拣处理系统及方法，通过三维视觉机构采集分拣池上放置的物料对应的物料三维图像，基于物料三维图像识别出目标物料对应的类别、位置信息和姿态信息等识别定位信息，可有助于避免目标物料的形状、相互遮挡或相互堆叠对物料识别定位的影响，可保证识别定位过程中的准确性；再引导分拣执行机构依据目标物料的类别、位置信息和姿态信息等识别定位信息，对目标物料进行有顺序、有三维方向的拾取分拣操作，以保证分拣过程中的准确率和可执行性，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以避免因目标物料的形状、相互遮挡或相互堆叠而导致无法进行物料分拣，提高物料分拣效率和准确性。

附图说明

图1是本发明一实施例中基于三维视觉的产品分拣处理系统的一示意图；

图2是本发明一实施例中分拣池机构的一示意图；

图3是本发明一实施例中三维视觉机构的一示意图；

图4是本发明一实施例中分拣执行机构的一示意图；

图5是本发明一实施例中物料包装机构的一示意图；

图6是本发明一实施例中基于三维视觉的产品分拣处理方法的一流程图；

图7是本发明一实施例中基于三维视觉的产品分拣处理方法的另一流程图；

图8是本发明一实施例中基于三维视觉的产品分拣处理方法的另一流程图；

图9是本发明一实施例中目标物料的位置信息和姿态信息的一示意图。

其中，10、分拣控制器；20、分拣池机构；21、分拣池；211、分拣柱；212、分拣环；30、三维视觉机构；31、三维相机；32、视觉处理单元；33、视觉光源；40、分拣执行机构；41、分拣机器人；42、接料口；50、制造执行系统；60、物料仓库控制机构；70、物料包装机构；71、汇料单元；711、汇料通道；72、塑料封装机；721、第一感应器；73、喷码机；74、物料输送单元。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明的描述中，需要理解的是，术语“纵向”、“径向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在一实施例中，如图1所示，提供一种基于三维视觉的产品分拣处理系统。该基于三维视觉包括分拣控制器10、用于放置物料的分拣池机构20、用于进行三维视觉识别的三维视觉机构30和用于执行物料分拣的分拣执行机构40，通过分拣控制器10控制三维视觉机构30和分拣执行机构40工作，可实现对分拣池21上放置的物料进行分拣，而不受物料的形状、是否存在相互遮挡和堆叠的情况限制，以保证物料分拣工作的正常进行。

分拣控制器10，是用于实现物料分拣控制的机构，具体可以为执行特定计算机程序，以实现对分拣池机构20、三维视觉机构30和分拣执行机构40进行控制，以使分拣池机构20、三维视觉机构30和分拣执行机构40配合，以完成物料分拣工作的控制单元。

分拣池机构20，包括用于放置物料的分拣池21。分拣池21是预先设置的用于放置物料以便三维视觉机构30拍摄物料三维图像的平台。例如，分拣池21可以是圆形桌面，可将需要分拣的所有物料放置在分拣池21上，以便三维视觉机构30拍摄物料三维图像和分拣执行机构40进行物料分拣，此时，放置在分拣池21上的物料为被分拣对象。

三维视觉机构30，设置分拣池21上方并与分拣控制器10相连，用于在分拣控制器10的控制下，采集放置在分拣池21上的物料对应的物料三维图像，基于物料三维图像识别出目标物料对应的识别定位信息，并将识别定位信息发送给分拣控制器10。其中，物料三维图像是三维视觉机构30拍摄到的放置在分拣池21上的物料的三维图像。识别定位信息是基于物料三维图像识别出的与目标物料相关的信息，包括但不限于目标物料的类别、位置信息和姿态信息等信息。可以理解地，通过三维视觉机构30拍摄到的物料三维图像，可识别出的目标物料对应的类别、位置信息和姿态信息等识别定位信息，可有助于避免目标物料的形状、相互遮挡或相互堆叠对物料识别定位的影响，以保证识别定位过程中的准确性。三维视觉机构30将该识别定位信息发送给分拣控制器10，以便分拣控制器10控制分拣执行机构40基于目标物料对应的类别、位置信息和姿态信息等识别定位信息进行物料分拣时，可进行有顺序、有三维方向的分拣拾取操作，以保证分拣过程中的准确率和可执行性，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果。该目标物料是指需要被分拣出的用于组装目标产品的物料。本实施例中，三维视觉机构30设置在分拣池21上方，有利于三维视觉机构30拍摄出更精确的物料三维图像，有助于提高物料分拣的精确度。

分拣执行机构40，设置在分拣池21外围并与分拣控制器10相连，用于在分拣控制器10的控制下，根据识别定位信息进行物料分拣。分拣执行机构40是用于执行物料分拣的机构，该分拣执行机构40设置在分拣池21的外围并与分拣控制器10相连，可根据分拣控制器10获取到的三维视觉机构30识别出的目标物料的类别、位置信息和姿态信息等识别定位信息进行有顺序、有三维方向的拾取分拣操作，以达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果。

在分拣开始之前，需向分拣控制器10提供目标产品对应的分拣订单信息并在分拣池21上放置待分拣的物料。该分拣订单信息包括至少一个目标物料和每一目标物料对应的物料数量，每一目标物料对应一原始三维图像，以便基于该原始三维图像进行物料识别。在分拣过程中，分拣控制器10先控制三维视觉机构30采集放置在分拣池21上的物料对应的物料三维图像，基于该物料三维图像与分拣订单信息中目标物料对应的原始三维图像进行物料识别和定位处理，从而获取物料三维图像中每一目标物料对应的类别、位置信息和姿态信息等识别定位信息，并将该识别定位信息发送给分拣控制器10。分拣控制器10接收到识别定位信息之后，基于该识别定位信息控制分拣执行机构40进行有顺序、有三维方向的物料拾取分拣操作，依次将分拣订单信息对应的至少一个目标物料拾取出来，直至分拣出的每一目标物料的数量与物料数量相匹配，以实现对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果。

可以理解地，在将一物料三维图像识别出的所有目标物料拾取出来之后，若未完成分拣订单信息中所有目标物料的分拣时，即存在至少一个目标物料的当前数量与物料数量不相匹配时，可以控制三维视觉机构30再次拍摄物料的物料三维图像并进行识别定位，以重新获取识别定位信息，并控制分拣执行机构40基于重新获取的识别定位信息进行物料分拣操作，直至所有目标物料均按其物料数量拾取出来。其中，目标物料的当前数量是指某一种类别的目标物料已经被拾取分拣出来的数量。即分拣控制器10可控制三维视觉机构30逐层采集物料的物料三维图像，对该物料三维图像中的物料进行识别、分割和定位，以获取目标物料对应的类别、位置信息和姿态信息等识别定位信息，从而引导分拣执行机构40基于该识别定位信息进行有顺序、有三维方向的物料拾取分拣操作，以达到对多种类别、不定姿态、被遮挡或者相互堆叠的目标物料进行柔性分拣的目的，从而有效提高物料分拣效率和准确率。其中，柔性分拣是指对不确定环境的适应性反应并分拣过程，此处的柔性是指一种应对环境变化或环境变化所造成的不确定性的应变能力。

本实施例所提供的基于三维视觉的产品分拣处理系统中，通过三维视觉机构30采集分拣池21上放置的物料对应的物料三维图像，基于物料三维图像识别出目标物料对应的类别、位置信息和姿态信息等识别定位信息，可有助于避免目标物料的形状、相互遮挡或相互堆叠对物料识别定位的影响，可保证识别定位过程中的准确性；再引导分拣执行机构40依据目标物料的类别、位置信息和姿态信息等识别定位信息，对目标物料进行有顺序、有三维方向的拾取分拣操作，以保证分拣过程中的准确率和可执行性，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以避免因目标物料的形状、相互遮挡或相互堆叠而导致无法进行物料分拣，提高物料分拣效率和准确性。

在一实施例中，分拣池机构20还包括与分拣池21和分拣控制器10相连的分拣运动单元(图中未示出)，用于在分拣控制器10的控制下，翻转分拣池21上放置的物料。由于分拣池21上放置的物料可能存在相互遮挡或者相互堆叠的情况，为了减少这种相互遮挡或者相互堆叠的情况对物料识别和定位的影响，可以通过翻转分拣池21上的物料的方式，减少物料相互遮挡或者相互堆叠的情况发生，从而使得三维视觉机构30采集到的物料三维图像可识别出更多目标物料，从而提高物料分拣的效率和可执行性。为了提高产品分拣处理系统的自动化程度，降低物料分拣过程中的人工成本，可使分拣池机构20还包括与分拣池21和分拣控制器10相连的用于翻转物料的分拣运动单元，以使分拣运动单元可在分拣控制器10的控制下，控制分拣池21运动，以实现自动化翻转分拣池21上的物料，提高物料翻转效率，并减少物料相互遮挡或者相互堆叠的情况发生，有助于提高物料分拣效率。

在一实施例中，如图2所示，分拣池21包括分拣柱211和设置在分拣柱211外围的至少一个分拣环212；分拣运动单元与分拣柱211相连，用于控制分拣柱211沿分拣柱211轴向方向往复运动；分拣运动单元与分拣环212相连，用于控制分拣环212沿分拣环212轴向方向往复运动。其中，分拣柱211是分拣池21的中心部分的柱形件，分拣环212是设置在分拣柱211外围的环形件，为了避免物料落入分拣柱211与分拣环212之间或者相邻两个分拣环212之间，需保证分拣柱211与分拣环212之间或者相邻两个分拣环212之间紧密配合，使其缝隙较小。可以理解地，分拣运动单元与分拣柱211和分拣环212相连，使得分拣运动单元可以单独用于控制分拣柱211沿分拣柱211轴向方向往复运动，也可以单独控制分拣环212沿分拣环212轴向往复运动，或者同步控制分拣柱211沿分拣柱211轴向方向往复运动和控制分拣环212沿分拣环212轴向往复运动，以使分拣运动单元控制分拣柱211和/或分拣环212沿各自轴向方向往复运动时，放置在分拣柱211和/或分拣环212上的物料随之运动，以达到翻转物料的目的，避免物料相互遮挡或者相互堆叠对物料分拣工作的正常进行造成影响。

作为一个示例，如图2所示，分拣柱211具体为圆柱体，且分拣柱211上用于放置物料的端面为球面，在分拣运动单元带动放置在分拣柱211上的物料沿分拣柱211的轴向往复运动时，使得物料向分拣环212方向整理，以达到物料翻转目的。分拣环212具体为圆环柱体，即分拣环212的横截面为圆环形，且圆形柱体内环高度小于外环高度，以使分拣环212上用于放置物料的端面为斜面，在分拣运动单元带动放置在分拣环212上的物料沿分拣环212的轴向往复运动时，物料向分拣柱211方向整理，以达到物料翻转目的。可以理解地，分拣控制器10可通过分拣运动单元控制分拣柱211和分拣环212之间形成不同的高度差，以实现对分拣池21中的物料进行有效整理，以避免物料相互遮挡和相互堆叠的情况对物料分拣过程造成影响。

在一实施例中，如图3所示，三维视觉机构30包括三维相机31和视觉处理单元32，三维相机31设置在分拣池21的正上方，用于采集放置在分拣池21上的物料对应的物料三维图像；视觉处理单元32与三维相机31相连，用于基于物料三维图像识别出目标物料对应的识别定位信息。

其中，三维相机31是可以拍摄三维图像的相机，可以采用但不限于本实施例中的RGB-D三维相机31。本实施例中，三维相机31设置在分拣池21的正上方，可有助于避免拍摄到的物料三维图像因角度偏差较大而影响其识别定位效果，从而提高识别定位的准确性，保障物料分拣的准确性。

其中，视觉处理单元32是与三维相机31相连的用于进行图像识别定位处理的处理单元，具体可以为可执行图像识别与定位的特定算法的计算机设备，此处的特定算法可以为特征相关性识别与定位算法，或者是可实现图像识别与定位的其他现有算法。可以理解地，该视觉处理单元32可以与分拣控制器10独立设置，也可以集成在分拣控制器10内，与分拣控制器10一体化设置，以简化产品分拣处理系统的结构。

如图9所示，预先构建三维视觉机构30和分拣执行机构40共用的三维空间坐标系，在视觉处理单元32中采用特征相关性识别与定位算法或者其他识别定位算法对物料三维图像与预先接收到的分拣订单信息中目标物料对应的原始三维图像进行匹配，获取包含目标物料对应的类别、位置信息(x，y，z)和姿态信息(α，θ，φ)的识别定位信息。此处的类别可以是用于确定物料三维图像中的某一物料具体为分拣订单信息中的哪一种类别的目标物料。此处的位置信息(x，y，z)是指目标物料的中心点Q在三维空间坐标系中的坐标。此处的姿态信息(α，θ，φ)是指目标物料预先设定的物料方向与三维空间坐标系中某一坐标轴的夹角，如长方体的目标物料的长度方向与三维空间坐标系中X轴的夹角为姿态信息中的α。可以理解地，分拣执行机构40在接收到识别定位信息后，在根据目标物料过程中，可以根据识别定位信息中的类别进行有顺序的物料拾取分拣操作，并根据识别定位信息中的位置信息(x，y，z)和姿态信息(α，θ，φ)调整拾取位置点和拾取姿态，以实现三维方向的物料拾取分拣操作，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以保障物料分拣的准确性。

在一实施例中，如图3所示，三维视觉机构30还包括视觉光源33，视觉光源33设置在分拣池21的正上方且位于三维相机31正下方。可以理解地，通过在分拣池21的正上方与三维相机31的正下方的位置设置视觉光源33，用于给该三维相机31拍摄物料三维图像过程中提供稳定的光照环境，以保证三维相机31采集到的物料三维图像的清晰度，从而有助于提高后续识别定位的准确性。

进一步地，视觉光源33呈环形设置在分拣池21与三维相机31之间，以给三维相机31提供更稳定的光照环境，避免分拣池21上不同位置上的物料因视觉光源33的光照角度不同而影响其物料识别和定位的效果。

在一实施例中，如图4所示，分拣执行机构40包括至少一个接料口42，分拣控制器10与设置在分拣池21外围的至少一分拣机器人41相连，根据识别定位信息向分拣机器人41发送物料分拣指令，并通过接料口42接收目标物料。其中，物料分拣指令是分拣控制器10触发的用于控制分拣机器人41进行物料拾取分拣操作的指令。在分拣池21的外围设置至少一个用于拾取物料的分拣机器人41，每一分拣机器人41可在分拣控制器10的控制下，依据三维视觉机构30识别出的识别定位信息进行物料分拣，以将目标物料拾取到相应的接料口42，以达到物料分拣目的。

作为一个示例，分拣控制器10在接收到包含目标物料的类别、位置信息和姿态信息的识别定位信息之后，针对某一目标物料形成一物料分拣指令，以将该物料物料分拣指令发送给一分拣机器人41，以使分拣机器人41执行该物料分拣指令，以将相应的目标物料拾取到接料口42。例如，分拣控制器10可依据目标物料的类别顺序或者距离分拣机器人41的远近顺序，依次形成一物料分拣指令，以便基于依次形成的物料分拣指令实现有顺序的物料拾取分拣操作；将一物料分拣指令发送给距离该目标物料的位置最近的分拣机器人41，以使该分拣机器人41基于该目标物料的姿态信息调整拾取角度，以实现有三维方向的物料拾取操作，从而达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以保障物料分拣的准确性。

作为一个示例，分拣机器人41和接料口42均设置为一个时，可以在最低成本的情况下保证物料分拣目的的实现。作为另一个示例，分拣机器人41和接料口42均为至少两个时，可使每一分拣机器人41将拾取到的目标物料放置在与分拣机器人41最近的接料口42上，以提高物料分拣效率。

例如，分拣机器人41为至少两个时，可预先配置每一分拣机器人41在预先构建三维视觉机构30和分拣执行机构40共用的三维空间坐标系中的分拣区域；在分拣机器人41获取到相应的识别定位信息之后，基于识别定位信息中的位置信息(x，y，z)与每一分拣机器人41对应的分拣区域进行匹配，以确定目标物料对应的分拣机器人41；分拣机器人41可依据分拣订单信息中的目标物料和物料数量，将其分拣区域中的目标物料拾取到相应的接料口42，以完成对目标物料的分拣操作，有助于提高物料分拣效率。

进一步地，基于三维视觉的产品分拣处理系统还包括与分拣控制器10相连的用于下发分拣订单信息的制造执行系统50。制造执行系统50(Manufacturing ExecutionSystem，简称MES)，是一套面向制造企业车间执行层的生产信息化管理系统。MES可以为企业提供包括制造数据管理、计划排产管理、生产调度管理、库存管理、质量管理、人力资源管理、工作中心/设备管理、工具工装管理、采购管理、成本管理、项目看板管理、生产过程控制、底层数据集成分析、上层数据集成分解等管理模块，为企业打造一个扎实、可靠、全面、可行的制造协同管理平台。可以理解地，用户可通过MES向分拣控制器10下发分拣订单信息，以使分拣控制器10根据该分拣订单信息，控制分拣池机构20中的分拣运动单元翻转放置在分拣池21上的物料；并控制三维视觉机构30采用物料三维图像并进行识别定位，以获取识别定位信息；再根据识别定位信息控制分拣执行机构40进行物料分拣，以达到物料分拣目的。

在一实施例中，基于三维视觉的产品分拣处理系统还包括与制造执行系统50和分拣池机构20相连的物料仓库控制机构60，物料仓库控制机构60用于根据分拣订单信息向分拣池机构20输送物料。可以理解地，物料仓库控制机构60是预先存储物料，并可以根据MES所下发的分拣订单信息，向分拣池机构20输送物料，以使分拣池21上放置需要分拣的物料的机构。具体地，物料仓库控制机构60与分拣池机构20通过传送带或者其他传送机构相连，以实现将物料传送到分拣池21上，以避免人工搬运物料的成本，提高物料传送的效率。

在一实施例中，基于三维视觉的产品分拣处理系统还包括与分拣控制器10相连的物料包装机构70，用于对分拣后的目标物料进行物料包装。可以理解地，在基于分拣订单信息进行物料分拣之后，可以采用物料包装机构70对分拣后的目标物料进行物料包装，以实现分拣包装一体化处理，以提高目标产品的分拣包装效率，节省分拣包装成本。

在一实施例中，如图5所示，物料包装机构70包括依次通过物料输送单元74相连的用于汇集目标物料的汇料单元71、用于对目标物料进行打包封装的塑料封装机72和用于进行喷码的喷码机73，汇料单元71与分拣执行机构40通过汇料通道711相连。其中，物料输送单元74是用于实现物料在不同位置之间传输的单元，该物料输送单元74包括但不限于实施例所提及的传送带单元。其中，汇料单元71是用于汇集分拣执行机构40的接料口42上的目标物料的单元，可以理解为一个收集并容纳所有目标物料的容器。汇料通道711是用于连接至少一个接料口42与汇料单元71的通道，该汇料通道711可以是可实现自动传输目标物料的传输通道。

本实施例中，当分拣执行机构40将分拣订单信息中所有目标物料依据其物料数量分拣后，可通过汇料通道711将接料口42中所有的目标物料汇集到汇料单元71，再采用塑料封装机72对汇料单元71中汇集的所有目标物料进行打包封装，以将所有目标物料封装在包装袋中，再采用喷码机73对包装袋进行喷码，以完成对目标产品的分拣、封装和喷码的一体化处理，提高处理效率。

进一步地，物料包装机构70还包括设置在塑料封装机72入口处的第一感应器721，用于在感应到目标物料时向塑料封装机72触发打包封装指令，以使塑料封装机72对目标物料进行打包封装。该第一感应器721设置在塑料封装机72的入口处，用于在感应到汇料单元71将目标物料输送到塑料封装机72的入口处时，向塑料封装机72触发打包封装指令，以使塑料封装机72对目标物料进行打包封装，以提高物料包装机构70的自动化程度，有效提高处理效率。

相应地，该物料包装机构70还包括设置在喷码机73入口处的第二感应器(图中未示出)，用于在感应到目标物料时，向喷码机73触发喷码控制指令，以使喷码机73根据该喷码控制指令对包装目标物料的包装袋进行喷码，以提高物料包装机构70的自动化程度，有效提高处理效率。

在一实施例中，如图6所示，提供一种基于三维视觉的产品分拣处理方法，该产品分拣处理方法包括分拣控制器10执行的如下步骤：

S601：获取分拣订单信息，分拣订单信息包括目标物料。

其中，分拣订单信息是用于反映某一目标产品对应的所有物料的图像及数量等信息。该目标物料是指需要被分拣出的用于组装目标产品的物料。该分拣订单信息不仅包括目标物料，还包括目标物料对应的物料数量以及原始三维图像。该物料数量是指组装目标产品所需的目标物料的数量。原始三维图像是指预先设置的目标物料对应的三维图像，可根据该原始三维图像进行后续的三维视觉识别。

具体地，该分拣控制器10可接收到K个目标产品对应的分拣订单信息，目标产品的数量为至少一个，即K为正整数，以实现对批量目标产品进行统一分拣。每一个目标产品对应的分拣订单信息包括N个目标物料，且每一目标物料的物料数量的数量为M个，其中，M和N均为正整数。例如，分拣控制器10可一次接收到需分拣10个积木机器人的分拣订单信息，每一个积木机器人均需包括目标物料A、B和C，且目标物料A、B和C对应的物料数量分别为6、8和12个。

在一实施方式中，分拣控制器10可以接收用户通过客户端(如电脑上可实现相应控制程序的客户端)，直接输入的分拣订单信息，以便基于该分拣订单信息进行物料分拣处理。

在另一实施方式中，分拣控制器10可以接收制造执行系统50下发的分拣订单信息，即该分拣订单信息是基于MES预先统一管理并生成的用于分拣目标产品所形成的订单信息，以便基于该分拣订单信息进行物料统一分拣处理。

S602：控制三维视觉机构采集放置在分拣池上的物料对应的物料三维图像，获取基于物料三维图像识别出目标物料对应的识别定位信息。

本实施例中，预先构建三维视觉机构30和分拣执行机构40共用的三维空间坐标系如图9所示；在分拣控制器10接收到分拣订单信息之后，控制三维视觉机构30的视觉处理单元32采用特征相关性识别与定位算法或者其他识别定位算法，对物料三维图像与分拣订单信息中目标物料对应的原始三维图像进行匹配，获取包含目标物料对应的类别、位置信息(x，y，z)和姿态信息(α，θ，φ)的识别定位信息。此处的类别是用于确定物料三维图像中的某一物料具体为分拣订单信息中的哪一种类别的目标物料。此处的位置信息(x，y，z)是指目标物料的中心点Q在三维空间坐标系中的坐标。此处的姿态信息(α，θ，φ)是指目标物料预先设定的物料方向与三维空间坐标系中某一坐标轴的夹角，如长方体的目标物料的长度方向与三维空间坐标系中X轴的夹角为姿态信息中的α。

由于三维视觉机构30通过采集放置在分拣池21上的物料对应的物料三维图像，并利用物料三维图像与原始三维图像进行匹配处理，以实现对目标物料的识别定位，使得获取的识别定位信息包含目标物料的类别、位置信息和姿态信息等信息，以便基于目标物料的类别、位置信息和姿态信息等识别定位信息，对目标物料进行有顺序、有三维方向的拾取分拣操作，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，可有助于避免目标物料的形状、相互遮挡或相互堆叠对物料识别定位的影响，可保证识别定位过程中的准确性。

S603：控制分拣执行机构根据识别定位信息进行物料分拣。

具体地，分拣控制器10在接收到三维视觉机构30的识别定位信息之后，由于三维视觉机构30和分拣执行机构40共用同一三维空间坐标系，使得分拣控制器10依据接收到的包含目标物料的类别、位置信息和姿态信息的识别定位信息，控制分拣执行机构40进行有顺序、有三维方向的物料拾取分拣操作，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以避免因目标物料的形状、相互遮挡或相互堆叠而导致无法进行物料分拣，提高物料分拣效率和准确性。

作为一个示例，分拣控制器10可根据三维视觉机构30每一次采集到的物料三维图像所识别出的目标物料的类别、位置信息和姿态信息等识别定位信息，控制分拣执行机构40实现对识别定位信息中识别到的所有目标物料进行有顺序、有三维方向的物料拾取分拣操作，并实时更新物料分拣结果；若物料分拣结果为分拣完成，则可以将分拣完成的目标物料输送到下一分拣处理环节进行处理，即输送到物料包装机构70进行物料包装；若物料分拣结果为分拣未完成，则可以控制三维视觉机构30再次拍摄物料的物料三维图像并进行识别定位，并控制分拣执行机构40进行物料分拣操作，直至所有目标物料均按其物料数量拾取出来。即分拣控制器10可控制三维视觉机构30逐层采集物料的物料三维图像，对该物料三维图像中的物料进行识别、分割和定位，以获取所有目标物料对应的类别、位置信息和姿态信息等识别定位信息，以引导分拣执行机构40基于该识别定位信息进行有顺序、有三维方向的物料拾取分拣操作，以达到对多种类别、不定姿态、被遮挡或者相互堆叠的目标物料进行柔性分拣的目的，从而有效提高物料分拣效率和准确率。

本实施例所提供的基于三维视觉的产品分拣处理方法中，通过三维视觉机构30采集分拣池21上放置的物料对应的物料三维图像，基于物料三维图像识别出目标物料对应的类别、位置信息和姿态信息等识别定位信息；可有助于避免目标物料的形状、相互遮挡或相互堆叠对物料识别定位的影响，可保证识别定位过程中的准确性；再引导分拣执行机构40依据目标物料的类别、位置信息和姿态信息等识别定位信息，对目标物料进行有顺序、有三维方向的拾取分拣操作，达到对多种类、不定姿态、遮挡和堆叠的目标物料进行柔性分拣的效果，以保证分拣过程中的准确率和可执行性，以避免因目标物料的形状、相互遮挡或相互堆叠而导致无法进行物料分拣，提高物料分拣效率和准确性。

在一实施例中，如图7所示，分拣订单信息包括与目标物料相对应的物料数量，则步骤S603，即控制分拣执行机构40根据识别定位信息进行物料分拣，具体包括如下步骤：

S701：根据目标物料对应的识别定位信息，控制分拣机器人将目标物料从分拣池拾取到对应的接料口。

具体地，分拣控制器10可根据物料三维图像识别出的目标物料对应的识别定位信息，确定可分拣该目标物料对应的分拣机器人41；再控制分拣机器人41依据特定的分拣顺序，将目标物料从分拣池21上拾取到与该分拣机器人41相对应的接料口42上，以实现依次对目标物料进行分拣，即实现对目标物料进行有顺序的拾取分拣操作。由于该识别定位信息是基于三维视觉机构30采集到的物料三维图像进行识别定位处理获取到的信息，相比于二维视觉技术，其识别定位结果更准确，且不易受到目标物料的形状、姿态、相互遮挡或者相互堆叠的影响，有助于保障分拣工作的顺利进行。

S702：更新每一目标物料对应的当前数量，判断所有目标物料对应的当前数量是否均与对应的物料数量相匹配。

其中，目标物料的当前数量是指某一种类别的目标物料已经被拾取分拣出来的数量，具体是指每一种类别的目标物料已经被分拣到相应的接料口42的数量。具体地，分拣控制器10在接收到分拣订单信息之后，可给每一目标物料创建一计数器，用于实时计算每一目标物料对应的当前数量，即在每一目标物料被分拣机器人41分拣到相应的接料口42时，使其目标物料对应的当前数量加1，并判断加1后的当前数量是否达到分拣订单信息中与该目标物料相对应的物料数量，即逐一判断每一目标物料对应的当前数量是否与对应的物料数量相匹配，以便决定后续是否需要进行进一步分拣相应的目标物料。

S703：若所有目标物料对应的当前数量均与对应的物料数量相匹配，则完成目标产品对应的物料分拣操作。

具体地，若所有目标物料对应的当前数量均与对应的物料数量相匹配，则说明不存在需要进一步分拣的目标物料，可认定已经完成目标产品对应的物料分拣操作。例如，该分拣控制器10可接收到K个目标产品对应的分拣订单信息，每一个目标产品对应的分拣订单信息包括N个目标物料，且每一目标物料的物料数量的数量为M个中，若N个目标物料对应的当前数量分别达到对应的物料数量时，则认定完成一个目标产品对应的物料分拣操作。

可以理解地，在分拣控制器10获取到的分拣订单信息具体为至少一个目标产品对应的分拣订单信息时，即K≥1时；则在步骤S703之后，该基于三维视觉的产品分拣处理方法还包括：更新目标产品对应的产品数量，判断产品数量是否达到分拣订单信息中目标产品对应的订单数量(即K)；若产品数量达到订单数量，则认定完成该分拣订单信息对应的物料分拣操作；若产品数量未达到订单数量，则需要重复执行步骤S701-S703，直至产品数量达到订单数量，以实现按柔性的分拣订单信息进行物料分拣操作。

S704：若存在目标物料对应的当前数量与对应的物料数量不匹配，且不存在未分拣的目标物料对应的识别定位信息时，重复执行控制三维视觉机构采集放置在分拣池上的物料对应的物料三维图像，获取基于物料三维图像识别出目标物料对应的识别定位信息。

具体地，若存在目标物料对应的当前数量与物料数量不相匹配时，则说明存在需要进一步分拣的目标物料，此时，需判断三维视觉机构30采集的物料三维图像识别出的目标物料对应的识别定位信息中，是否还存在未分拣的目标物料对应的识别定位信息；若不存在未分拣的目标物料对应的识别定位信息时，需重复执行控制三维视觉机构采集放置在分拣池上的物料对应的物料三维图像，获取基于物料三维图像识别出目标物料对应的识别定位信息，即重复执行步骤S602及其以后的步骤，以重新采集物料三维图像并识别相应的识别定位信息，基于重新获取的识别定位信息进行再次物料分拣。可以理解地，通过控制三维视觉机构30重新采集物料三维图像并识别相应的识别定位信息过程中，可实现分层采集分拣池21上的物料对应的物料三维图像，可避免物料之间相互遮挡或者相互堆叠而影响物料分拣的顺利进行。

作为步骤S704的一个优化方案，步骤S704具体包括：若存在目标物料对应的当前数量与对应的物料数量不匹配，且不存在未分拣的目标物料对应的识别定位信息时，控制分拣运动单元翻转分拣池21上放置的物料，重复执行控制三维视觉机构30采集放置在分拣池21上的物料对应的物料三维图像，获取基于物料三维图像识别出目标物料对应的识别定位信息。可以理解地，在需要控制三维视觉机构30重新采集物料三维图像并识别出相应的识别定位信息之前，先控制分拣池机构20的分拣运动单元运动，以翻转放置在分拣池21上的物料，提高物料翻转效率，并减少物料相互遮挡或者相互堆叠的情况发生，有助于提高物料分拣效率。

作为一示例，若存在目标物料对应的当前数量与对应的物料数量不匹配，且不存在未分拣的目标物料对应的识别定位信息时，分拣控制器10根据当前采集的物料三维图像对应的识别定位信息，判断是否满足翻转条件，若满足翻转条件，则控制分拣运动单元翻转分拣池21上放置的物料，重复执行控制三维视觉机构30采集放置在分拣池21上的物料对应的物料三维图像，获取基于物料三维图像识别出目标物料对应的识别定位信息。其中，翻转条件是预先设置用于控制分拣池机构翻转物料的条件。该翻转条件可以是当前采集的物料三维图像中未分拣的目标物料对应的未分拣数量小于预设数量阈值，也可以是当前采集的物料三维图像中未分拣的目标物料的类别与分拣订单信息中目标物料的类别不匹配，或者其他预先设置的条件。可以理解地，在满足预先设置的翻转条件时，自动控制分拣运动单元翻转分拣池21上放置的物料，提高物料翻转效率，并减少物料相互遮挡或者相互堆叠的情况发生，有助于提高物料分拣效率。

S704：若存在目标物料对应的当前数量与对应的物料数量不匹配，且存在未分拣的目标物料对应的识别定位信息时，重复执行根据目标物料对应的识别定位信息，控制分拣机器人将目标物料从分拣池拾取到对应的接料口。

具体地，若存在目标物料对应的当前数量与物料数量不相匹配时，则说明存在需要进一步分拣的目标物料，此时，需判断三维视觉机构30采集的物料三维图像识别出的目标物料对应的识别定位信息中，是否还存在未分拣的目标物料对应的识别定位信息；若存在未分拣的目标物料对的识别定位信息时，可重复执行根据目标物料对应的识别定位信息，控制分拣机器人将目标物料从分拣池拾取到对应的接料口，即重复执行步骤S701及其以后的步骤，直至将同一物料三维图像识别出的用于组装目标产品对应的所有目标物料分拣到相应的接料口42，以减少三维视觉机构30进行图像采集和识别定位处理的工作量，有助于提高分拣处理效率。

本实施例所提供的基于三维视觉的产品分拣处理方法中，基于识别定位结果较准确的识别定位信息，控制分拣机器人41将目标物料从分拣池21拾取到对应的接料口42，有助于保障分拣工作的顺利进行。实时更新每一目标物料对应的当前数量，若所有目标物料对应的当前数量均与对应的物料数量相匹配，则完成订单分拣信息对应的所有目标物料的分拣操作。若存在目标物料对应的当前数量与对应的物料数量不匹配且不存在未分拣的目标物料对应的识别定位信息时，控制三维视觉机构30重新采集物料三维图像并识别相应的识别定位信息，基于重新获取的识别定位信息进行再次物料分拣，可实现分层采集分拣池21上的物料对应的物料三维图像，可避免物料之间相互遮挡或者相互堆叠而影响物料分拣的顺利进行。若存在目标物料对应的当前数量与对应的物料数量不匹配且存在未分拣的目标物料对应的识别定位信息时，重复控制分拣机器人41进行物料分拣，以减少三维视觉机构30进行图像采集和识别定位处理的工作量，有助于提高分拣处理效率。

在一实施例中，如图8所示，识别定位信息包括位置信息和姿态信息。相应地，步骤S701，即根据目标物料对应的识别定位信息，控制分拣机器人41将目标物料从分拣池21拾取到对应的接料口42，具体包括如下步骤：

S801：根据位置信息和每一分拣机器人对应的分拣区域，确定目标机器人。

具体地，分拣机器人41为至少两个时，可预先配置每一分拣机器人41在预先构建三维视觉机构30和分拣执行机构40共用的三维空间坐标系中的分拣区域。分拣控制器10在获取到每一目标物料对应的位置信息(x，y，z)和姿态信息(α，θ，φ)之后，基于位置信息(x，y，z)与每一分拣机器人41对应的分拣区域进行匹配，以确定可拾取该目标物料的分拣机器人41为目标机器人，以便基于至少两个分拣机器人41对应的分拣区域进行有序的分拣控制。分拣机器人41可依据分拣订单信息中的目标物料和物料数量，将其分拣区域中识别出的目标物料拾取到相应的接料口42，以完成对目标物料的分拣操作。

S802：依据姿态信息，调整目标机器人的拾取角度，将目标物料从分拣池拾取到对应的接料口。

具体地，分拣控制器10在确定每一目标物料对应的目标机器人时，可根据该目标物料对应的姿态信息(α，θ，φ)，调整目标机器人的拾取角度，以将目标物料从分拣池21准确拾取到相应的接料口42，从而保障物料分拣过程顺利进行，实现对不定姿态的目标物料进行柔性分拣的效果，提高目标物料的分拣效率。

本实施例所提供的基于三维视觉的产品分拣处理方法中，先基于识别定位信息中的位置信息与每一分拣机器人41对应的分拣区域，以确定用于分拣该目标物料对应的目标机器人，以保证目标机器人分拣目标物料的分拣效率；再基于识别定位信息中的姿态信息，调整目标机器人拾取目标物料的拾取角度，实现对不定姿态的目标物料进行柔性分拣的效果，提高目标物料的分拣效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于三维视觉的产品分拣处理系统，其特征在于，包括：

分拣控制器；

分拣池机构，包括用于放置物料的分拣池；

三维视觉机构，设置所述分拣池上方并与所述分拣控制器相连，用于在所述分拣控制器的控制下，采集放置在所述分拣池上的物料对应的物料三维图像，基于所述物料三维图像识别出目标物料对应的识别定位信息，并将所述识别定位信息发送给所述分拣控制器；

分拣执行机构，设置在所述分拣池外围并与所述分拣控制器相连，用于在所述分拣控制器的控制下，根据所述识别定位信息进行物料分拣。

2.如权利要求1所述基于三维视觉的产品分拣处理系统，其特征在于，所述分拣池机构还包括与所述分拣池和所述分拣控制器相连的分拣运动单元，用于在所述分拣控制器的控制下，翻转所述分拣池上放置的所述物料。

3.如权利要求2所述基于三维视觉的产品分拣处理系统，其特征在于，所述分拣池包括分拣柱和设置在所述分拣柱外围的至少一个分拣环；所述分拣运动单元与所述分拣柱相连，用于控制所述分拣柱沿所述分拣柱轴向方向往复运动；所述分拣运动单元与所述分拣环相连，用于控制所述分拣环沿所述分拣环轴向方向往复运动。

4.如权利要求1所述基于三维视觉的产品分拣处理系统，其特征在于，所述三维视觉机构包括三维相机和视觉处理单元，所述三维相机设置在所述分拣池的正上方，用于采集放置在所述分拣池上的物料对应的物料三维图像；所述视觉处理单元与所述三维相机相连，用于基于所述物料三维图像识别出目标物料对应的识别定位信息。

5.如权利要求4所述基于三维视觉的产品分拣处理系统，其特征在于，所述三维视觉机构还包括视觉光源，所述视觉光源设置在所述分拣池的正上方且位于所述三维相机正下方。

6.如权利要求1所述基于三维视觉的产品分拣处理系统，其特征在于，所述分拣执行机构包括至少一个接料口，所述分拣控制器与设置在所述分拣池外围的至少一分拣机器人相连，根据所述识别定位信息向所述分拣机器人发送物料分拣指令，并通过接料口接收所述目标物料。

7.一种基于三维视觉的产品分拣处理方法，包括分拣控制器执行的如下步骤：

获取分拣订单信息，所述分拣订单信息包括目标物料；

控制三维视觉机构采集放置在所述分拣池上的物料对应的物料三维图像，获取基于所述物料三维图像识别出目标物料对应的识别定位信息；

控制分拣执行机构根据所述识别定位信息进行物料分拣。

8.如权利要求7所述的基于三维视觉的产品分拣处理方法，其特征在于，所述分拣订单信息包括与所述目标物料相对应的物料数量；

所述控制分拣执行机构根据所述识别定位信息进行物料分拣，包括：

根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口；

更新每一所述目标物料对应的当前数量，判断所有所述目标物料对应的当前数量是否均与对应的所述物料数量相匹配；

若所有所述目标物料对应的当前数量均与对应的所述物料数量相匹配，则完成目标产品对应的物料分拣操作。

9.如权利要求8所述的基于三维视觉的产品分拣处理方法，其特征在于，在所述更新每一所述目标物料对应的当前数量，判断所有所述目标物料对应的当前数量是否均与对应的所述物料数量相匹配之后，所述产品分拣处理方法还包括：

若存在所述目标物料对应的当前数量与对应的所述物料数量不匹配，且不存在未分拣的目标物料对应的识别定位信息时，重复执行所述控制三维视觉机构采集放置在所述分拣池上的物料对应的物料三维图像，获取基于所述物料三维图像识别出目标物料对应的识别定位信息；或者，

若存在所述目标物料对应的当前数量与对应的所述物料数量不匹配，且存在未分拣的目标物料对应的识别定位信息时，重复执行所述根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口。

10.如权利要求8所述的基于三维视觉的产品分拣处理方法，其特征在于，所述识别定位信息包括位置信息和姿态信息；

所述根据所述目标物料对应的识别定位信息，控制分拣机器人将所述目标物料从所述分拣池拾取到对应的接料口，包括：

根据所述位置信息和每一所述分拣机器人对应的分拣区域，确定目标机器人；

依据所述姿态信息，调整所述目标机器人的拾取角度，将所述目标物料从所述分拣池拾取到对应的接料口。

Images