CN113351522B - 物品分拣方法、装置及系统 - Google Patents

Abstract

本发明公开了一种物品分拣方法、装置及系统。该方法包括：S1，获取第一3D视觉装置采集的至少一个待分拣物品的场景图像，根据场景图像，识别目标分拣物品及对应的位姿信息，根据位姿信息控制分拣机器人抓取目标分拣物品；S2，控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，获取第二3D视觉装置采集的目标分拣物品的物品图像，根据物品图像，识别目标分拣物品的3D尺寸信息；S3，根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置；S4，获取第三3D视觉装置采集的码垛后分拣框的垛型图像，根据垛型图像，识别下一个待分拣物品的物品码垛位置，实现了智能分拣，提升了分拣效率及码垛效果。

Description

物品分拣方法、装置及系统

技术领域

本发明涉及物流技术领域，具体涉及一种物品分拣方法、装置及系统。

背景技术

随着工业智能化的发展，通过分拣机器人代替人工对物体(例如工业零件、箱体等)进行操作的情况越来越普及。然而，当待分拣的物品形状和大小不统一时的情况下，在进行物品码放过程中经常由于码放位置不合适而出现倒垛现象，这就迫切需要新的码垛方案来解决码放倒垛的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的物品分拣方法、装置及系统。

根据本发明的一个方面，提供了一种物品分拣方法，包括：

S1，获取第一3D视觉装置采集的至少一个待分拣物品的场景图像，根据场景图像，识别确定目标分拣物品及对应的位姿信息，根据位姿信息控制分拣机器人抓取目标分拣物品；

S2，控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，获取第二3D视觉装置采集的目标分拣物品的物品图像，根据物品图像，识别确定目标分拣物品的3D尺寸信息；

S3，根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置；

S4，获取第三3D视觉装置采集的码垛后分拣框的垛型图像，根据垛型图像，识别确定下一个待分拣物品的物品码垛位置。

根据本发明的另一方面，提供了一种物品分拣装置，包括：

获取模块，适于获取第一3D视觉装置采集的至少一个待分拣物品的场景图像；获取第二3D视觉装置采集的目标分拣物品的物品图像；及，获取第三3D视觉装置采集的码垛后分拣框的垛型图像；

识别模块，适于根据场景图像，识别确定目标分拣物品及对应的位姿信息；根据物品图像，识别确定目标分拣物品的3D尺寸信息；及，根据垛型图像，识别确定下一个待分拣物品的物品码垛位置；

抓取模块，适于根据位姿信息控制分拣机器人抓取目标分拣物品；

控制模块，适于控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方；

码放模块，适于根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

根据本发明的又一方面，提供了一种物品分拣系统，包括：上述物品分拣装置、分拣机器人、第一3D视觉装置、第二3D视觉装置和第三3D视觉装置。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述物品分拣方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述物品分拣方法对应的操作。

根据本发明提供的方案，通过对三个3D视觉装置采集的图像进行分析，并基于分析结果控制分拣机器人进行物品的分拣，从而实现了智能分拣，提升了分拣效率，而且由于能够根据第三3D视觉装置采集的垛型图像确定出下一个待分拣物品的物品码垛位置，因此，在进行码垛时，能够实现精准码放，从而避免码垛后出现倒垛现象。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的物品分拣方法的流程示意图；

图2示出了根据本发明另一个实施例的物品分拣方法的流程示意图；

图3示出了根据本发明一个实施例的物品分拣装置的结构示意图；

图4示出了根据本发明一个实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的物品分拣方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤S101，获取第一3D视觉装置采集的至少一个待分拣物品的场景图像，根据场景图像，识别确定目标分拣物品及对应的位姿信息，根据位姿信息控制分拣机器人抓取目标分拣物品。

具体地，向第一3D视觉装置发送触发信号，控制第一3D视觉装置采集至少一个待分拣物品的场景图像和深度图像，其中，场景图像为RGB图像，获取第一3D视觉装置所采集的至少一个待分拣物品的场景图像，场景图像和深度图像一一对应，第一3D视觉装置具体为3D相机，设置在上方位置处，方向朝下。

本实施例的目的是控制分拣机器人进行物品分拣，因此，需要从至少一个待分拣物品中确定目标分拣物品，以及确定目标分拣物品的位姿信息，具体地，基于场景图像和深度图像构建点云，利用点云分割技术，确定各个待分拣物品对应的点云，点云包括各个3D点的位姿信息，由此，可以确定各个待分拣物品的位姿信息，其中，位姿信息包括物品位置信息和物品姿态信息，反映了待分拣物品所在位置及朝向。此外，还可以根据激光探测器、LED等可见光探测器、红外探测器以及雷达探测器等元件生成点云，本发明对具体实现方式不作限定。

目标分拣物品是当前至少一个待分拣物品中最易被抓取的一个，目标分拣物品的确定，可以依据相关现有技术中的抓取策略实现，这里不做详细赘述。

在确定了目标分拣物品及对应的位姿信息，可以将位姿信息发送至分拣机器人，以使分拣机器人根据位姿信息来抓取目标分拣物品。

步骤S102，控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，获取第二3D视觉装置采集的目标分拣物品的物品图像，根据物品图像，识别确定目标分拣物品的3D尺寸信息。

为了避免物品堆叠等原因造成第一3D视觉装置所确定物品的3D尺寸信息不精准，进而影响物品的码放，本实施例增设了第二3D视觉装置，利用第二3D视觉装置来进行识别，以精准地确定目标分拣物品的3D尺寸信息，从而便于后续精准地将目标分拣物品码放至分拣框中。

具体地，第二3D视觉装置的设置位置是固定的，因此，可以根据第二3D视觉装置的位置信息来控制分拣机器人移动，使得分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，分拣机器人到达第二3D视觉装置的上方后做短暂的停留，通过向第二3D视觉装置发送触发信号来控制第二3D视觉装置采集目标分拣物品的物品图像和深度图像，其中，物品图像为RGB图像，获取第二3D视觉装置所采集的目标分拣物品的物品图像，同样地，物品图像和深度图像一一对应，第二3D视觉装置具体为3D相机，第二3D视觉装置设置在下方位置处，方向朝上。

根据物品图像和深度图像构建点云，点云包括各个3D点在空间的XYZ三轴的坐标值以及各个3D点自身的XYZ三轴朝向等信息，由此能够准确地确定出目标分拣物品的3D尺寸信息，3D尺寸信息能够反映出目标分拣物品的尺寸信息(例如，长、宽、高)。

步骤S103，根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

物品码垛位置反映了在进行码垛时，物品应该被码放在哪个位置，物品码垛位置还进一步反映了码放空间的长宽高，因此，在根据步骤S102确定3D尺寸信息后，可以根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置，由此实现了精准码放，避免码垛后出现倒垛现象。

步骤S104，获取第三3D视觉装置采集的码垛后分拣框的垛型图像，根据垛型图像，识别确定下一个待分拣物品的物品码垛位置。

在将目标分拣物品码放至分拣框的相应位置后，控制分拣机器人离开分拣框并分拣下一个物品，在确定分拣机器人离开分拣框后，通过向第三3D视觉装置发送触发信号来控制第三3D视觉装置采集码垛后分拣框的垛型图像和深度图像，其中，垛型图像为RGB图像，获取第三3D视觉装置所采集的码垛后分拣框的垛型图像，根据垛型图像和深度图像来构建点云，基于构建的点云，确定出分拣框中当前的垛型，根据垛型能够确定下一个待分拣物品的物品码垛位置，从而在下一轮物品分拣流程中根据物品码垛位置将目标分拣物品码放到相应的位置。

根据本发明上述实施例提供的物品分拣方法，通过对三个3D视觉装置采集的图像进行分析，并基于分析结果控制分拣机器人进行物品的分拣，从而实现了智能分拣，提升了分拣效率，而且由于能够根据第三3D视觉装置采集的垛型图像确定出下一个待分拣物品的物品码垛位置，因此，在进行码垛时，能够实现精准码放，从而避免码垛后出现倒垛现象。

图2示出了根据本发明另一个实施例的物品分拣方法的流程示意图。如图2所示，该方法包括以下步骤：

步骤S201，获取第一3D视觉装置采集的至少一个待分拣物品的场景图像，根据场景图像，识别确定目标分拣物品及对应的位姿信息，根据位姿信息控制分拣机器人抓取目标分拣物品。

具体地，向第一3D视觉装置发送触发信号，控制第一3D视觉装置采集至少一个待分拣物品的场景图像和深度图像，其中，场景图像为RGB图像，获取第一3D视觉装置所采集的至少一个待分拣物品的场景图像，场景图像和深度图像一一对应，第一3D视觉装置具体为3D相机，设置在上方位置处，方向朝下。

本实施例的目的是控制分拣机器人进行物品分拣，因此，需要分割出场景图像中所包含的每个待分拣物品，而为了能够便捷、精准地分割出场景图像中所包含的每个待分拣物品，可预先收集不同场景下的样本场景图像，构建训练样本集合，采用深度学习算法对训练样本集合中的各个样本场景图像进行训练，最终训练得到深度学习分割模型，那么在获取了场景图像之后，可以将场景图像输入至经过训练的深度学习分割模型中，利用经过训练的深度学习分割模型进行一系列的模型计算，对场景图像中所包含的每个待分拣物品进行分割处理，得到各个待分拣物品的分割结果。

基于构建的点云以及各个待分拣物品的分割结果，确定各个待分拣物品对应的点云，点云包括各个3D点的位姿信息，由此，可以确定各个待分拣物品的位姿信息，其中，位姿信息包括物品位置信息和物品姿态信息反映了待分拣物品所在位置及朝向。

目标分拣物品是当前至少一个待分拣物品中最易被抓取的一个，目标分拣物品的确定，可以依据相关现有技术中的抓取策略实现，这里不做详细赘述。

在确定了目标分拣物品及对应的位姿信息，可以将位姿信息发送至分拣机器人，以使分拣机器人根据位姿信息来抓取目标分拣物品。例如，使分拣机器人移动至待分拣物品位置信息对应的抓取位置并形成物品姿态信息对应的抓取姿态来抓取目标分拣物品。

通常情况下，分拣机器人的机械手臂的操作末端设置有夹具，根据目标分拣物品的位姿信息调整夹具的角度来使夹具形成对应的抓取姿态，夹具可以是吸盘或者夹爪等，当夹具为吸盘时，夹具的抓取方式为吸盘吸取，夹具启动后，吸盘内部处于真空状态，进而可以吸取目标分拣物品完成抓取操作；当夹具为夹爪时，夹具的抓取方式为夹爪抓取，夹具启动后，夹爪闭合，进而可以抓取目标分拣物品完成获取操作。更具体地，吸盘可以为海绵吸盘，其内置有真空发生器、单向阀和控制阀，即使目标分拣物品没有完全被吸附也不影响其效果，而且能够有效实现各种形状物品的吸取，例如，适用于对纸箱、软塑料膜包裹的搬运。

步骤S202，控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，获取第二3D视觉装置采集的目标分拣物品的物品图像，根据物品图像，识别确定目标分拣物品的3D尺寸信息及分类标签。

为了避免物品堆叠等原因造成第一3D视觉装置所确定物品的3D尺寸信息不精准，进而影响物品的码放，本实施例增设了第二3D视觉装置，利用第二3D视觉装置来进行识别，以精准地确定目标分拣物品的3D尺寸信息，从而便于后续精准地将目标分拣物品码放至分拣框中。

具体地，第二3D视觉装置的设置位置是固定的，因此，可以根据第二3D视觉装置的位置信息来控制分拣机器人移动，使得分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，分拣机器人到达第二3D视觉装置的上方后做短暂的停留，通过向第二3D视觉装置发送触发信号来控制第二3D视觉装置采集目标分拣物品的物品图像和深度图像，其中，物品图像为RGB图像，获取第二3D视觉装置所采集的目标分拣物品的物品图像，第二3D视觉装置具体为3D相机，第二3D视觉装置设置在下方位置处，方向朝上。

基于物品图像和深度图像构建点云，点云包括各个3D点在空间的XYZ三轴的坐标值以及各个3D点自身的XYZ三轴朝向等信息，从而能够准确地确定出目标分拣物品的3D尺寸信息，3D尺寸信息能够反映出目标分拣物品的尺寸信息(例如，长、宽、高)，另外，基于点云能够准确地识别出目标分拣物品对应的分类标签。可选地，可以通过如下方法来确定目标分拣物品对应的分类标签：

根据物品图像构建目标分拣物品对应的点云，计算目标分拣物品的点云曲率值，判断点云曲率值是否小于预设曲率阈值；

若点云曲率值大于或等于预设曲率阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若目标分拣物品的长度大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；若目标分拣物品的长度小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签；

若点云曲率值小于预设曲率阈值，则判断目标分拣物品的高度是否小于预设高度阈值；

若目标分拣物品的高度小于预设高度阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若目标分拣物品的长度大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；若目标分拣物品的长度小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签；

若目标分拣物品的高度大于或等于预设高度阈值，则判断目标分拣物品的宽度是否小于预设宽度阈值；

若目标分拣物品的宽度大于或等于预设宽度阈值，则确定目标分拣物品的分类标签为第三分类标签；若目标分拣物品的宽度小于预设宽度阈值，则确定目标分拣物品的分类标签为第二分类标签。

通常情况下，可以将物品分为如下几类：包裹类、纸箱类和异常件，而包裹类一般又包括：软包、信封和小件，针对不同分类物品，物品放置位置也有所不同，包裹类物品一般放置邮袋中或托盘上，异常件放于异常位，纸箱类一般放置笼车中进行笼车码放，因此，需要对目标分拣物品进行分类，确定目标分拣物品应该被放置哪里，为了提升分类准确率，本实施例主要采用了二值分类来完成。

具体地，点云曲率反映了物品表面的平整度，本实施例中目标分拣物品的点云曲率值的计算过程可以参照现有的点云曲率值计算方法，此处不再赘述。通过预先设置曲率阈值来对物品表面的平整度进行分界，若点云曲率值大于或等于预设曲率阈值，表明物品表面不平整，不适于放置笼车中，虽然物品不适于放置笼车中，但为了进一步确认物品的放置位置，还需要做进一步的判断，例如，将目标分拣物品的长度与预设长度阈值进行比较，比如，设置预设长度阈值为35cm，这里仅是举例说明，通常情况下，异常件的长度大于预设长度阈值，因此，若目标分拣物品的长度大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签，即，异常件，放于异常位；若目标分拣物品的长度小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签，即包裹类，放置于邮袋中或托盘上。

若点云曲率值小于预设曲率阈值，表明物品表面平整。虽然能够确定物品表面平整，然而，并不一定适于放置于笼车中，因此，还需要做进一步的判断，例如，将目标分拣物品的高度与预设高度阈值进行比较，比如，设置预设高度阈值为5cm，预设高度阈值还可以是其它数值，这里不做具体限定，预设高度阈值是一临界值，用于区分哪些高度的物品适于放置笼车中。若目标分拣物品的高度小于预设高度阈值，表明物品不适于放于笼车中，还需要进一步确定放置哪里，例如，将目标分拣物品的长度与预设长度阈值进行比较，若目标分拣物品的长度大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签，即，异常件，放于异常位；若目标分拣物品的长度小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签，即包裹类，放置于邮袋中或托盘上。

若目标分拣物品的高度大于或于预设高度阈值，表明物品适于放于笼车中，为了便于码放，需要做进一步地判断，例如，将目标分拣物品的宽度与预设宽度阈值进行比较，比如，设置预设宽度阈值为20cm，当然还可以是其它数值，若目标分拣物品的宽度大于或等于预设宽度阈值，则确定目标分拣物品的分类标签为第三分类标签，即纸箱类，码放于笼车中；若目标分拣物品的宽度小于预设宽度阈值，则确定目标分拣物品的分类标签为第二分类标签，即包裹类，放置于邮袋中或托盘上。

可选地，还可以通过如下方法来确定目标分拣物品的3D尺寸信息，在该可选实施方式中，主要是确定目标分拣物品的高度，通常情况下，分拣机器人停留在第二3D视觉装置上方时距离第二3D视觉装置的高度是固定的，因此，通过确定第二3D视觉装置距离目标分拣物品的深度，能够确定目标分拣物品的高度，目标分拣物品的高度是上述两个距离之差，从而最终确定目标分拣物品的3D尺寸信息。

为了能够提升分拣效率，本实施例可以在控制分拣机器人向分拣框所在位置移动过程中，识别确定目标分拣物品的3D尺寸信息及分类标签。

步骤S203，判断物品码垛位置是否与3D尺寸信息相匹配；若否，则执行步骤S204；若是，则执行步骤S205。

本实施例是通过预测手段来确定目标分拣物品，因此，很可能出现所确定的物品码垛位置并不能用来码放目标分拣物品，为了实现物品的码垛，避免倒垛现象出现，在确定目标分拣物品的3D尺寸信息后，需要判断所确定的物品码垛位置是否与3D尺寸信息相匹配，主要是基于物品码垛位置处码放空间的长宽高和目标分拣物品的尺寸信息来确定是否相匹配，若不匹配，则需要重新确定物品码垛位置；若匹配，则可以进行物品码垛。

步骤S204，基于垛型图像及3D尺寸信息重新确定物品码垛位置，根据重新确定的物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

根据垛型图像和深度图像来构建点云，基于构建的点云，确定出分拣框中当前的垛型，3D尺寸信息反映了目标分拣物品的长宽高信息，根据垛型及3D尺寸信息能够重新确定的物品码垛位置，从而根据重新确定的物品码垛位置将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

步骤S205，根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

物品码垛位置反映了在进行物品码放时，物品应该被码放在哪个位置，物品码垛位置还进一步反映了码放空间的长宽高，在确定了目标分拣物品的分类标签后，可以根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。由此实现精准地码放，避免码垛后出现倒垛现象。

步骤S206，获取第三3D视觉装置采集的码垛后分拣框的垛型图像。

控制分拣机器人离开分拣框并分拣下一个物品，在确定分拣机器人离开分拣框后，通过向第三3D视觉装置发送触发信号来控制第三3D视觉装置采集码垛后分拣框的垛型图像和深度图像，垛型图像为RGB图像，获取第三3D视觉装置所采集的码垛后分拣框的垛型图像。

步骤S207，对垛型图像进行分析，以检测分拣框的状态信息是否为已满状态信息，若是，则执行步骤S208；若否，则执行步骤S209。

根据垛型图像和深度图像来构建点云，基于构建的点云，确定出分拣框中当前的垛型，基于当前的垛型来确定分拣框是否已码满，若已码满，则确定分拣框的状态信息为已满状态信息，否则，确定分拣框的状态信息为已满状态信息分拣框已码满分拣框的状态信息为未满状态信息。

步骤S208，控制自动导引装置更换分拣框，获取第三3D视觉装置采集的分拣框图像，对分拣框图像进行分析，确定更换后的分拣框的位置信息，以根据更换后的分拣框的位置信息控制分拣机器人码放目标分拣物品。

在检测出分拣框的状态信息为已满状态信息的情况下，说明分拣框已码满，为了能够完成物品分拣任务，需要更换分拣框，具体地，可以控制自动导引装置，例如，AGV来运输，实现更换分拣框，通常情况下，AGV行驶方向由后方驶入。在完成分拣框更换后，通过向第三3D视觉装置发送触发信号来控制第三3D视觉装置采集分拣框图像，获取第三3D视觉装置采集的分拣框图像，对分拣框图像进行分析，确定更换后的分拣框的位置信息，从而便于根据更换后的分拣框的位置信息控制分拣机器人码放目标分拣物品。通过对分拣框整体做定位，使得每一次运行过程中可以保证精准地确定分拣框位置，从而避免码放过程中与分拣框发生碰撞。

步骤S209，确定下一个待分拣物品的物品码垛位置。

下一个待分拣物品的物品码垛位置的计算过程与图1所示实施例确定物品码垛位置所采用的方法类似，这里不再赘述。需要说明的是，下一个待分拣物品的物品码垛位置的计算，可以在码放完成之后，码放下一个待分拣物品之前这段时间内完成，从而有效控制了物品分拣所需时间。

需要说明的是，一轮物品分拣流程串行执行步骤S201-步骤S209；多轮物品分拣流程之间并执行步骤S201-步骤S209，无需等待一轮物品分拣流程结束才可以开始下一轮，从而提升了分拣效率，有效控制了物品分拣所需时间。

根据本发明上述实施例提供的物品分拣方法，通过对三个3D视觉装置采集的图像进行分析，并基于分析结果控制分拣机器人进行物品的分拣，从而实现了智能分拣，提升了分拣效率，而且由于能够根据第三3D视觉装置采集的垛型图像确定出下一个待分拣物品的物品码垛位置，因此，在进行码垛时，能够实现精准码放，从而避免码垛后出现倒垛现象；通过进行对目标分拣物品进行分类，能够提升码垛效果。

图3示出了根据本发明一个实施例的物品分拣装置的结构示意图。如图3所示，该装置包括：获取模块301、识别模块302、抓取模块303、控制模块304、码放模块305。

获取模块301，适于获取第一3D视觉装置采集的至少一个待分拣物品的场景图像；获取第二3D视觉装置采集的目标分拣物品的物品图像；及，获取第三3D视觉装置采集的码垛后分拣框的垛型图像；

识别模块302，适于根据场景图像，识别确定目标分拣物品及对应的位姿信息；根据物品图像，识别确定目标分拣物品的3D尺寸信息；及，根据垛型图像，识别确定下一个待分拣物品的物品码垛位置；

抓取模块303，适于根据位姿信息控制分拣机器人抓取目标分拣物品；

控制模块304，适于控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方；

码放模块305，适于根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

可选地，码放模块进一步适于：判断物品码垛位置是否与3D尺寸信息相匹配；

若否，则基于垛型图像及3D尺寸信息重新确定物品码垛位置；

根据重新确定的物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

可选地，控制模块还适于：若检测到分拣框的状态信息为已满状态信息，则控制自动导引装置更换分拣框；

获取模块还适于：获取第三3D视觉装置采集的分拣框图像；

识别模块还适于：对分拣框图像进行分析，确定更换后的分拣框的位置信息，以根据更换后的分拣框的位置信息控制分拣机器人码放目标分拣物品。

可选地，装置还包括：分类模块，适于对物品图像进行分析，确定目标分拣物品对应的分类标签；

码放模块进一步适于：根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

可选地，分类模块进一步适于：根据物品图像构建目标分拣物品对应的点云，计算目标分拣物品的点云曲率值，判断点云曲率值是否小于预设曲率阈值；

若大于或等于预设曲率阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

可选地，分类模块还适于：若小于预设曲率阈值，则判断目标分拣物品高度是否小于预设高度阈值；

若小于预设高度阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

可选地，分类模块还适于：若大于或等于预设高度阈值，则判断目标分拣物品的宽度是否小于预设宽度阈值；

若大于或等于预设宽度阈值，则确定目标分拣物品的分类标签为第三分类标签；

若小于预设宽度阈值，则确定目标分拣物品的分类标签为第二分类标签。

可选地，在一轮物品分拣流程中各个模块串行执行；在多轮物品分拣流程中各个模块并执行。

根据本发明上述实施例提供的物品分拣装置，通过对三个3D视觉装置采集的图像进行分析，并基于分析结果控制分拣机器人进行物品的分拣，从而实现了智能分拣，提升了分拣效率，而且由于能够根据第三3D视觉装置采集的垛型图像确定出下一个待分拣物品的物品码垛位置，因此，在进行码垛时，能够实现精准码放，从而避免码垛后出现倒垛现象。

本发明实施例还提供一种物品分拣系统，该系统包括：图3所示实施例中的物品分拣装置、分拣机器人、第一3D视觉装置、第二3D视觉装置和第三3D视觉装置。

本申请实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的物品分拣方法。

图4示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述物品分拣方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述任意方法实施例中的物品分拣方法。程序410中各步骤的具体实现可以参见上述物品分拣实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (15)

1.一种物品分拣方法，包括：

S1，获取第一3D视觉装置采集的至少一个待分拣物品的场景图像，根据所述场景图像，识别确定目标分拣物品及对应的位姿信息，根据所述位姿信息控制分拣机器人抓取目标分拣物品；

S2，控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方，获取第二3D视觉装置采集的目标分拣物品的物品图像，根据所述物品图像，识别确定目标分拣物品的3D尺寸信息；其中，在控制分拣机器人向分拣框所在位置移动过程中，识别确定目标分拣物品的3D尺寸信息及分类标签；

S3，根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置；

S4，在确定分拣机器人离开分拣框后，获取第三3D视觉装置采集的码垛后分拣框的垛型图像，根据所述垛型图像，识别确定下一个待分拣物品的物品码垛位置；

其中，一轮物品分拣流程串行执行S1-S4；多轮物品分拣流程之间并行执行步骤S1-S4；

其中，所述方法还包括：根据物品图像构建目标分拣物品对应的点云，计算目标分拣物品的点云曲率值，根据所述点云曲率值及目标分拣物品的3D尺寸信息确定目标分拣物品对应的分类标签；

所述根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置进一步包括：

根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

2.根据权利要求1所述的方法，其中，所述根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置进一步包括：

判断物品码垛位置是否与3D尺寸信息相匹配；

若否，则基于所述垛型图像及3D尺寸信息重新确定物品码垛位置；

根据重新确定的物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

若检测到分拣框的状态信息为已满状态信息，则控制自动导引装置更换分拣框，获取第三3D视觉装置采集的分拣框图像，对所述分拣框图像进行分析，确定更换后的分拣框的位置信息，以根据更换后的分拣框的位置信息控制分拣机器人码放目标分拣物品。

4.根据权利要求1所述的方法，其中，所述根据所述点云曲率值及目标分拣物品的3D尺寸信息确定目标分拣物品对应的分类标签进一步包括：

判断所述点云曲率值是否小于预设曲率阈值；

若大于或等于预设曲率阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

5.根据权利要求4所述的方法，其中，所述方法还包括：

若小于预设曲率阈值，则判断目标分拣物品高度是否小于预设高度阈值；

若小于预设高度阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

6.根据权利要求5所述的方法，其中，所述方法还包括：

若大于或等于预设高度阈值，则判断目标分拣物品的宽度是否小于预设宽度阈值；

若大于或等于预设宽度阈值，则确定目标分拣物品的分类标签为第三分类标签；

若小于预设宽度阈值，则确定目标分拣物品的分类标签为第二分类标签。

7.一种物品分拣装置，包括：

获取模块，适于获取第一3D视觉装置采集的至少一个待分拣物品的场景图像；获取第二3D视觉装置采集的目标分拣物品的物品图像；及，在确定分拣机器人离开分拣框后，获取第三3D视觉装置采集的码垛后分拣框的垛型图像；

识别模块，适于根据所述场景图像，识别确定目标分拣物品及对应的位姿信息；根据所述物品图像，识别确定目标分拣物品的3D尺寸信息；及，根据所述垛型图像，识别确定下一个待分拣物品的物品码垛位置；其中，在控制分拣机器人向分拣框所在位置移动过程中，识别确定目标分拣物品的3D尺寸信息及分类标签；

抓取模块，适于根据所述位姿信息控制分拣机器人抓取目标分拣物品；

控制模块，适于控制分拣机器人带动目标分拣物品移动至第二3D视觉装置的上方；

码放模块，适于根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置；

其中，在一轮物品分拣流程中各个模块串行执行；在多轮物品分拣流程中各个模块并行执行；

装置还包括：分类模块，适于根据物品图像构建目标分拣物品对应的点云，计算目标分拣物品的点云曲率值，根据所述点云曲率值及目标分拣物品的3D尺寸信息确定目标分拣物品对应的分类标签；

所述码放模块进一步适于：根据物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置与分类标签对应的分拣框的相应位置。

8.根据权利要求7所述的装置，其中，所述码放模块进一步适于：判断物品码垛位置是否与3D尺寸信息相匹配；

若否，则基于所述垛型图像及3D尺寸信息重新确定物品码垛位置；

根据重新确定的物品码垛位置及3D尺寸信息控制分拣机器人将目标分拣物品码放置分拣框的相应位置。

9.根据权利要求7或8所述的装置，其中，所述控制模块还适于：若检测到分拣框的状态信息为已满状态信息，则控制自动导引装置更换分拣框；

所述获取模块还适于：获取第三3D视觉装置采集的分拣框图像；

所述识别模块还适于：对所述分拣框图像进行分析，确定更换后的分拣框的位置信息，以根据更换后的分拣框的位置信息控制分拣机器人码放目标分拣物品。

10.根据权利要求7所述的装置，其中，所述分类模块进一步适于：判断所述点云曲率值是否小于预设曲率阈值；

若大于或等于预设曲率阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

11.根据权利要求10所述的装置，其中，所述分类模块还适于：若小于预设曲率阈值，则判断目标分拣物品高度是否小于预设高度阈值；

若小于预设高度阈值，则判断目标分拣物品的长度是否小于预设长度阈值；

若大于或等于预设长度阈值，则确定目标分拣物品的分类标签为第一分类标签；

若小于预设长度阈值，则确定目标分拣物品的分类标签为第二分类标签。

12.根据权利要求11所述的装置，其中，所述分类模块还适于：

若大于或等于预设高度阈值，则判断目标分拣物品的宽度是否小于预设宽度阈值；

若大于或等于预设宽度阈值，则确定目标分拣物品的分类标签为第三分类标签；

若小于预设宽度阈值，则确定目标分拣物品的分类标签为第二分类标签。

13.一种物品分拣系统，包括：权利要求7-12中任一项所述的物品分拣装置、分拣机器人、第一3D视觉装置、第二3D视觉装置和第三3D视觉装置。

14.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的物品分拣方法对应的操作。

15.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-6中任一项所述的物品分拣方法对应的操作。

Images