CN114029250B

CN114029250B - 物品分拣方法与系统

Info

Publication number: CN114029250B
Application number: CN202111255800.4A
Authority: CN
Inventors: 马战鹏; 王赫; 钱泓
Original assignee: Inger Suzhou Intelligent Technology Co ltd
Current assignee: Inger Suzhou Intelligent Technology Co ltd
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2022-11-18
Anticipated expiration: 2041-10-27
Also published as: CN114029250A

Abstract

本公开涉及物品分拣方法与系统，该方法应用于分拣系统，上述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，上述第一分拣器、第二分拣器、栈板、摄像设备均受控于上述控制器，上述方法包括控制器调整上述摄像设备的位置，以使得上述摄像设备的位置满足第一要求，上述第一位置为对上述栈板中的物品进行分拣情况下，上述栈板的初始位置，上述第一要求用于约束上述栈板中位于顶层的物品位于上述摄像设备的中心区域；上述控制器触发上述摄像设备进行拍摄，得到第一图像；上述控制器根据上述第一图像，控制上述第一分拣器和上述第二分拣器对上述栈板中位于顶层的物品进行分拣。本公开可以提升分拣速度。

Description

物品分拣方法与系统

技术领域

本公开涉及物体运输领域，尤其涉及物品分拣方法与系统。

背景技术

目前很多场景中对物品的分拣依赖于人工，人工分拣自动化程度低，成本高、出错率高，为了提升分拣效率，相关技术中可以使用机械手部分代替人工，但是单一机械手分拣效率依然低，并且如何合理控制机械手节省分拣成本，缩短机械手行程的问题也缺乏研究，导致分拣效率依然不高。

发明内容

为了解决上述至少一个技术问题，本公开提出了物品分拣方法与系统。

根据本公开的一些实施例中，提供了一种物品分拣方法，所述方法应用于分拣系统，所述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，所述第一分拣器、所述第二分拣器、所述栈板、所述摄像设备均受控于所述控制器，所述方法包括：响应于所述栈板被移动至第一位置的情况，所述控制器调整所述摄像设备的位置，以使得所述摄像设备的位置满足第一要求，所述第一位置为对所述栈板中的物品进行分拣情况下，所述栈板的初始位置，所述第一要求用于约束所述栈板中位于顶层的物品位于所述摄像设备的中心区域；所述控制器触发所述摄像设备进行拍摄，得到第一图像；所述控制器根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

在一个实施例中，所述分拣系统还包括竖直导轨，所述摄像设备在所述竖直导轨滑动，并且所述摄像设备正对所述栈板中位于顶层的物品所形成的平面，所述控制器调整所述摄像设备的位置，包括：

所述控制器触发所述摄像设备进行拍照，根据拍照结果调整所述摄像设备的竖直高度，直至满足所述第一要求。

在一个实施例中，所述控制器根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣，包括：

识别所述第一图像中的物品，得到每一物品的平面位置信息；

根据所述每一物品的平面位置信息，在所述第一图像中提取所述物品对应的深度信息；

根据所述深度信息和所述摄像设备在竖直方向的位置，得到所述每一物品的竖直位置信息；

根据所述每一物品对应的平面位置信息和所述每一物品的竖直位置信息，控制所述第一分拣器和所述第二分拣器进行分拣。

在一个实施例中，所述根据所述每一物品对应的平面位置信息和所述每一物品的竖直位置信息，控制所述第一分拣器和所述第二分拣器进行分拣，包括：

根据所述每一物品对应的平面位置，确定物品分布图；

根据所述物品分布图，确定所述第一分拣器对应的第一分拣序列，以及所述第二分拣器对应的第二分拣序列；

控制所述第一分拣器按照所述第一分拣序列进行分拣，以及控制所述第二分拣器按照所述第二分拣序列进行分拣。

在一个实施例中，所述根据所述物品分布图，确定所述第一分拣器对应的第一分拣序列，以及所述第二分拣器对应的第二分拣序列，包括：

将所述物品分布图的区域分为第一区域、第二区域和第三区域，所述第一区域为所述第一分拣器可以触及并且不可能与所述第二分拣器发生任何碰撞的区域，所述第二区域为所述第二分拣器可以触及并且不可能与所述第一分拣器发生任何碰撞的区域，所述第三区域为所述第一分拣器和所述第二分拣器均可触达并且可能产生碰撞的区域；

根据所述第一区域中物品的分布、所述第二区域中物品的分布以及所述第三区域中物品的分布，确定所述第一分拣序列以及所述第二分拣序列。

在一个实施例中，所述根据所述第一区域中物品的分布、所述第二区域中物品的分布以及所述第三区域中物品的分布，确定所述第一分拣序列以及所述第二分拣序列，包括：

对所述第一区域中的物品排序，得到所述第一分拣序列，对所述第二区域中的物品排序，得到所述第二分拣序列。

在一个实施例中，所述方法还包括：

执行第一算法，所述第一算法用于在所述第三区域中选择第一物品和第二物品，并基于所述第一物品扩充所述第一分拣序列，以及基于所述第二物品扩充所述第二分拣序列，所述第一分拣器分拣所述第一物品的操作和所述第二分拣器分拣所述第二物品的操作被限定为同步执行；

重复执行所述第一算法直至达到第一终止执行条件。

在一个实施例中，所述方法还包括：

执行第二算法，所述第二算法用于在所述第三区域中选择第三物品，基于所述第三物品扩充所述第一分拣序列，以及在所述第三区域中选择第四物品，基于所述第四物品扩充所述第二分拣序列，所述第一分拣器分拣所述第三物品的操作和所述第二分拣器分拣所述第四物品的操作被限定为异步执行；

重复执行所述第二算法直至达到第二终止执行条件。

根据本公开的另一些实施例中，提供了一种分拣系统，所述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，所述第一分拣器、所述第二分拣器、所述栈板、所述摄像设备均受控于所述控制器，所述控制器用于执行下述操作：响应于所述栈板被移动至第一位置的情况，所述控制器调整所述摄像设备的位置，以使得所述摄像设备的位置满足第一要求，所述第一位置为对所述栈板中的物品进行分拣情况下，所述栈板的初始位置，所述第一要求用于约束所述栈板中位于顶层的物品位于所述摄像设备的中心区域；触发所述摄像设备进行拍摄，得到第一图像；根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

根据本公开的另一些实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述一些实施例中任意一项所述的物品分拣方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1示出根据本公开实施例的分拣系统示意图；

图2示出根据本公开实施例的物品分拣方法的流程图；

图3示出根据本公开实施例的栈板物品示意图；

图4示出根据本公开实施例的分拣流程示意图；

图5示出根据本公开实施例的分级卷积网络的示意图；

图6示出根据本公开实施例的一种情况下的分区示意图；

图7示出根据本公开实施例的另一种情况下的分区示意图；

图8示出根据本公开实施例的另一种情况下的分区示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

本公开实施例中一种物品分拣方法可以应用于分拣系统，上述分拣系统包括控制器10、第一分拣器20、栈板30、第二分拣器40和摄像设备50，其中，所述第一分拣器20、所述第二分拣器40、所述栈板30、所述摄像设备50均受控于所述控制器10。在一个实施例中，如图1所示，栈板30可以自承接物品的位置A运动至位置B(第一位置)，第一分拣器20和第二分拣器40分立于栈板30两侧，可以对栈板30上堆砌的物品进行分拣。上述栈板30旁边还放置竖直导轨，摄像设备50在上述竖直导轨滑动，并且上述摄像设备50正对上述栈板30中位于顶层的物品所形成的平面，以使得控制器10可以基于摄像设备拍摄到的图像控制上述第一分拣器20和第二分拣器40分拣上述栈板30中的物品。

请参考图2，本公开实施例提供一种物品分拣方法，该方法基于上述分拣系统实施，以控制器10为执行主体，对上述物品分拣方法进行下述说明：

S101.响应于所述栈板被移动至第一位置的情况，所述控制器调整所述摄像设备的位置，以使得所述摄像设备的位置满足第一要求，所述第一位置为对所述栈板中的物品进行分拣情况下，所述栈板的初始位置，所述第一要求用于约束所述栈板中位于顶层的物品位于所述摄像设备的中心区域。

当栈板在上述位置A处承载物品后，工作人员向控制器发布第一指令，控制器即可控制栈板运动至上述第一位置，当上述栈板位于上述第一位置时，调整所述摄像设备的位置，以使得栈板上堆叠的物体的顶部所形成的平面落入上述摄像设备的中心位置。本公开实施例并不对调整方法进行限定，具体来说，所述控制器触发所述摄像设备进行拍照，根据拍照结果调整所述摄像设备的竖直高度，直至满足所述第一要求。

S102.触发所述摄像设备进行拍摄，得到第一图像。

S103.根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

请参考图3，栈板上堆叠有三层物品，基于顶层(第三层)的物品所确定的平面SA落入摄像设备视野SV的中心区域，这种情况下可以认为满足所述第一要求。摄像设备的高度信息由上述控制器进行记录，基于摄像设备拍摄到的第一图像的深度信息，可以计算出顶层的物品的竖直高度，这一竖直高度为上述控制器在控制上述第一分拣器、第二分拣器时所需使用的参数。当第三层的物品被分拣走之后，第二层的物品成为新的顶层，可以继续被分拣，直至栈板的所有物品被分拣。

上述过程可以通过循环操作实现，上述循环操作可以被表达为：

响应于上述第一图像中的物品全部被分拣并且上述栈板依然存在未被分拣的物品的情况，上述控制器控制上述栈板竖直运动至第二位置，上述第二位置在上述第一图像中的物品全部被分拣之后，使得上述栈板上的物体的顶部落入上述摄像设备视野中心区域的位置。上述控制器向上述摄像设备发出拍摄指令，根据拍摄结果更新上述第一图像；上述控制器根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

结合图3对上述循环操作进行阐述，当第三层的物品被分拣完毕后，可以在栈板运动至第二位置的情况下拍摄得到第二层的物品，对第二层的物品的拍摄结果作为新的第一图像，基于上述新的第一图像，对第二层的物品进行分拣，基于相同构思，还可以继续分拣第一层的物品。

进一步地，本公开实施例还包括响应于上述第一图像中的物品全部被分拣并且上述栈板不存在未被分拣的物品的情况，上述控制器向上述栈板发送第二指令；响应于上述第二指令，上述栈板移动预设的承接物品的位置，进入下一轮分拣周期。本公开实施例管理人员只需要装载完毕栈板后向控制器发送第一指令，后面控制器可以全自动控制第一分拣器、第二分拣器自动分拣栈板中的物品，整个物品的分拣过程可以全自动实施，不再需要人工干预，达到了最大限度的自动分拣，显著提升了分拣效率。

上述根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣，如图4所示，包括：

S201.识别所述第一图像中的物品，得到每一物品的平面位置信息。

S202.根据所述每一物品的平面位置信息，在所述第一图像中提取所述物品对应的深度信息。

S203.根据所述深度信息和所述摄像设备在竖直方向的位置，得到所述每一物品的竖直位置信息。

S204.根据所述每一物品对应的平面位置信息和所述每一物品的竖直位置信息，控制所述第一分拣器和所述第二分拣器进行分拣。

本公开实施例中对控制器得到竖直位置信息的方式不做赘述，可以参考相关技术，上述控制器可以根据所述每一物品对应的平面位置，确定物品分布图；根据所述物品分布图，确定所述第一分拣器对应的第一分拣序列，以及所述第二分拣器对应的第二分拣序列；控制所述第一分拣器按照所述第一分拣序列进行分拣，以及控制所述第二分拣器按照所述第二分拣序列进行分拣。本公开实施例中物品分布图中每个物体包括边界信息以及该物体的竖直位置信息。

本公开实施例认为相关技术中物品边界识别的准确度不高，可能会对于边界信息的获取结果产生影响，因此，本公开实施例自行设计并训练新的神经网络，基于该神经网络对第一图像进行识别，可以得到充分满足本公开实施例使用场景的准确度要求的边界信息，从而生成足够准确的物品分布图。上述神经网络包括分级卷积网络、基于注意力的编码网络、融合网络和识别网络，上述神经网络的训练方法包括：

S301.获取样本图像，上述样本图像的标签表征上述样本图像中物品的边界信息。

S302.基于上述分级卷积网络对上述样本图像进行分级卷积处理，得到第一特征信息。

本公开实施例认为传统的卷积网络的特征提取能力不足，并不能够充分挖掘到足够的细节信息，也不能够挖掘到足够的用于进行目标识别的具备辨识度的信息。因此，本公开实施例设计一种分级卷积网络，通过逐层提取充分具备辨识度的信息，增加提取到的第一特征信息中的信息的富集度。本公开实施例中分级卷积网络包括至少两个提取分支，当然，并不限制提取分支的数量，但是数量越多速度越慢，提取效果也自然越好。

请参考图5，其示出分级卷积网络的示意图，本公开实施例以三个提取分支为例进行详述。上述分级卷积网络包括第一分支、第二分支和第三分支，上述第一分支、第二分支和第三分支均用于进行特征提取操作，本公开实施例不对特征提取操作进行限定，比如，其可以是卷积操作或者多尺度卷积操作，第四分支和第五分支分别与上述第一分支和第二分支进行连接，上述第四分支和第五分支均用于进行特征过滤操作。特征过滤操作包括重要度判断操作和基于重要度的特征抹除操作，以第四分支为例对本公开实施例独创的特征过滤操作进行详述：

(1)对第一分支输出的第一特征提取结果进行区域划分，得到至少九个区域。

(2)对上述第一特征提取结果中对应于每一区域的信息进行重要度判断，得到每一区域对应的重要度；

(3)将上述第一特征提取结果中重要度大于预设阈值的区域对应的信息抹除，得到第一修正信息。

(4)将上述第一修正信息作为第二分支的输入。

本公开实施例认为较为重要的区域对应的信息在第一特征提取结果中已经被表达出来了，将这些信息抹除后，不甚重要的区域对应的信息被记录在第一修正信息中，将第一修正信息输入下一分支继续进行特征提取，可以达到挖掘隐蔽信息的作用，从而使得在相关技术中难以被提取到的信息在下一分支被提取出来，基于这一构思可以逐层挖掘出难以被提取到的信息。最后，对第一分支、第二分支和第三分支输出的第一特征提取结果、第二特征提取结果和第三特征提取结果进行融合，可以将逐层挖掘出的信息融合起来，得到具备强辨识力的第一特征信息。

S303.基于上述基于注意力的编码网络对上述样本图像进行基于注意力的编码处理，得到第二特征信息。

本公开实施例认为传统的卷积网络的特征提取能力是不足的，这一问题本公开实施例通过设计独有的分级卷积网络进行多层级挖掘，从而在一定程度弥补了这一不足。但是本公开实施例认为即使使用了分级卷积网络提取到了充分具备辨识力的信息，这些信息的质量仍然不一定能满足本公开实施例对于边界预测准确度的要求，原因在于，本公开实施例认为分级卷积网络以卷积操作作为特征提取的核心操作，而卷积操作对于全局信息的把控能力有限，较多地关注的是卷积感受野以内的局部信息，对于全局信息把控能力的不足一定程度上影响了第一特征信息的表现力，为了弥补这一问题，本公开实施例就提出对于样本图像进行基于注意力的编码处理，基于注意力的编码处理的过程可以将样本图像进行序列化，对序列化结果的编码过程关注的是全局信息，从而使得得到的第二特征信息中包含足够的全局信息，基于注意力的编码操作与卷积操作的执行过程本公开不做赘述，可以参考相关技术。

相关技术中的基于注意力的编码处理中对每个编码点一视同仁，本公开实施例认为这一处理方式会降低本公开实施例中神经网络的收敛速度，也是不甚合理的，本公开实施例提出在进行基于注意力的编码处理的过程中为每个编码点设置权值，每个权值表征该编码点的重要程度，在对每个编码点进行基于注意力的编码处理以得到该编码点对应的编码信息后，对各编码点进行基于权值的信息融合，得到上述第二特征信息。这一操作的主要目的在于，使得上述神经网络可以更快速的收敛。

本公开实施例认为权值设置的合理程度对于收敛的速度具有一定影响。本公开实施例中进一步公开对编码点PA的权值的计算方法，其中PA为上述编码点中的任一编码点，上述权值计算方法包括：计算除编码点PA之外的其它编码点对应的编码信息，与编码点A对应的编码信息的距离，基于该距离确定上述权值。基于距离确定权值可以使得权值的设置合理化，进一步提升收敛效果。

S304.基于上述融合网络对上述第一特征信息和上述第二特征信息进行融合处理，得到第三特征信息。

本公开实施例中第一特征信息包括充分的具备辨识力的信息并且对样本图像中的局部进行了充分关注，第二特征信息对样本图像的全局进行了充分关注，融合第一特征信息和第二特征信息后得到的第三特征信息兼具这些优势，是一种非常优质的信息。

S305.将上述第三特征信息输入上述识别网络，得到边界预测信息。

S306.基于上述边界预测信息和上述标签的差异，优化上述神经网络的参数。

本公开实施例中神经网络的损失包括两部分，其中一部分是基于上述边界预测信息和上述标签的差异产生的第一损失，另一部分因为重要度判断产生的第二损失，也就是说，第二损失是各个执行重要度判断操作的分支产生的损失，以图5为例，就是第四分支和第五分支产生的损失的和。具体来说，以第四分支产生的损失为例，上述第四分支产生的损失可以通过下述方法确定：

S401.针对每一区域，对上述第一特征提取结果中上述区域对应的信息进行抹除，并对抹除后的结果进行目标识别处理，基于目标识别结果与上述标签的差异确定上述区域的重要度。

本公开实施例中目标识别处理可以基于相关技术中的成熟网络，对此不做限定。因为这个目标识别处理只是用于确定各个区域的相对重要度而已，不具有绝对性意义，因此对于目标识别处理算法的质量要求不高，使用成熟的网络即可。可以理解的是，目标识别结果与上述标签的差异越小，说明上述区域越不重要。

S402.对上述第一特征提取结果中上述区域对应的信息进行自融合操作，得到上述区域对应的信息指标值。

本公开实施例中并不限定上述自融合操作的具体类型，就是对上述第一特征提取结果中上述区域对应的信息自身进行融合，最终将这些信息融合为一个值(信息指标值)

S403.对每一区域的重要度和每一区域的信息指标值均进行归一化处理，并对归一化处理的结果进行融合，得到每一区域对应的重要度参考值。

S404.将上述第一特征提取结果输入第四分支，得到每一区域对应的重要度预测值。

S405.基于上述重要度参考值和上述重要度预测值的差异，得到上述第四分支的损失。

基于上述第一损失和上述第二损失训练上述神经网络，即可使得该神经网络可以识别出第一图像中的各个物品，从而得到各个物品的边界信息。本公开实施例中提及的融合可以参考相关技术，对此不作限定，神经网络领域的融合操作都可以参考选用用于支撑本公开实施例。

在得到物体分布图的基础上，本公开实施例可以确定所述第一分拣器对应的第一分拣序列，以及所述第二分拣器对应的第二分拣序列，包括：

S501.将所述物品分布图的区域分为第一区域、第二区域和第三区域，所述第一区域为所述第一分拣器可以触及并且不可能与所述第二分拣器发生任何碰撞的区域，所述第二区域为所述第二分拣器可以触及并且不可能与所述第一分拣器发生任何碰撞的区域，所述第三区域为所述第一分拣器和所述第二分拣器均可触达并且可能产生碰撞的区域。

S502.根据所述第一区域中物品的分布、所述第二区域中物品的分布以及所述第三区域中物品的分布，确定所述第一分拣序列以及所述第二分拣序列。

具体来说，所述根据所述第一区域中物品的分布、所述第二区域中物品的分布以及所述第三区域中物品的分布，确定所述第一分拣序列以及所述第二分拣序列，包括：

S5021.统计所述第一区域中的物品的第一数量、所述第二区域中的物品的第二数量以及所述第三区域中的物品的第三数量。

请参考图6，其示出一种情况下的分区示意图。第一区域中有三个物品A、B、C，第二区域中有三个物品D、E、F，第三区域中有四个物品G,I,J,K，第一数量、第二数量和第三数量分别为3、3、4。

S5022.对所述第一区域中的物品排序，得到所述第一分拣序列，对所述第二区域中的物品排序，得到所述第二分拣序列。

本公开实施例并不限定第一区域中物品排序的方法，以及不限定第二区域中物品排序的方法，这两种方法可以相同或者不同。可以随机排序，以第一分拣序列为例，排序结果可以为ABC或者BCA。在一些实施例中，对第一区域物品排序方法还可以为：

1.在第一区域中选择与第一分拣器当前位置距离最近的物品，作为当前物品，加入第一分拣序列。以图6为例，第一分拣序列这个时候可以被表达为{A}。

2.在第一区域中选择之前没被选择的并且与当前物品距离最近的物品，作为新的当前物品，加入第一分拣序列。以图6为例，第一分拣序列这个时候可以被表达为{A、B}。

3.在第一区域中仍然存在未被选择的物品的情况下，重复执行上一步骤。以图6为例，第一分拣序列可以被表达为{A、B、C}。相应的，第二分拣序列可以被表达为{D、E、F}。

这种排序方式可以使得第一分拣器末端执行器运动路径最短，尤其是对于末端执行器抓取到物品之后直接从与该末端执行器连通的输送空间输送走物品的情况。

如果第三数量为零，并且所述第一数量等于所述第二数量，第一分拣序列和第二分拣序列可以至此被完全确定。

如果所述第一数量不等于所述第二数量，以所述第一数量大于所述第二数量的情况为例，S5022通过下述方法执行，当然第一数量小于第二数量同理，不做赘述。

(a)响应于所述第一数量大于所述第二数量的情况，确定所述第一数量和所述第二数量的差值。

以图7为例，其示出另一种情况下的分区示意图。第一区域中有四个物品A1、B1、C1、D1，第二区域中有两个物品E1、F1，第三区域中有一个物品G1，第一数量、第二数量和第三数量分别为4、2、1。则第一数量和第二数量的差值为2。

(b)响应于所述第三数量小于等于所述差值的情况，对所述第一区域的物品排序，得到第一分拣序列，对所述第二区域的物品以及第三区域的物品进行排序，得到所述第二分拣序列。第一分拣序列和第二分拣序列可以至此被完全确定。

以图7为例，第一区域的四个物品被安排在第一分拣序列中，第二区域的两个物品和第三区域的全部物品被安排在第二分拣序列中。比如，第一分拣序列可以为{A1、B1、C1、D1}，第二分拣序列可以为{E1、F1、G1}。

(c)响应于所述第三数量大于所述差值的情况，对所述第一区域的物品进行排序，得到第一分拣序列，对所述第二区域的物品进行排序得到第三分拣序列，在所述第三区域中选取所述差值个物品进行排序得到第四分拣序列，连接所述第三分拣序列和所述第四分拣序列得到所述第二分拣序列。

以图8为例，其示出另一种情况下的分区示意图。第一区域中有四个物品A1、B1、C1、D1，第二区域中有两个物品E1、F1，第三区域中有三个物品K1、G1、T1，第一数量、第二数量和第三数量分别为4、2、3。则第一数量和第二数量的差值为2。

图8中，第一区域的四个物品被安排在第一分拣序列中，第二区域的两个物品和第三区域的其中两个物品被安排在第二分拣序列中。比如，第一分拣序列可以为{A1、B1、C1、D1}，第三分拣序列可以为{E1、F1}，第四分拣序列可以为{G1、T1}，则第二分拣序列可以为{E1、F1、G1、T1}。对于如何确定第四分拣序列，在一个实施例中可以采取下述方法确定：

10.在第三区域中选择与上述第三分拣序列最后一个物品距离最近的物品，作为当前物品，加入第四分拣序列。

20.在第三区域中随机选择之前未被选中的物品，作为新的当前物品，加入第四分拣序列。

30.在第三区域中选择的物品的数量没有达到上述差值的情况下，重复执行上一步骤。

这种第四分拣序列确定方式可以节省第二分拣器的运动路径，并且保证第二分拣序列的生成速度。

在另一个实施例中，还可以提供另一确定第四分拣序列的方式：

100.在第三区域中选择与上述第三分拣序列最后一个物品距离最近的物品，作为当前物品，加入第四分拣序列。

200.在第三区域内之前未被选中的物品中，选择紧密度最高的物品作为新的当前物品，加入第四分拣序列。

紧密度表征的是物品的一种周围环境信息，如果一个物品W1周围较近的位置存在其它物品，另一个物品W2同样周围较近的位置不存在任何其它物品，则物品W1的紧密度大于物品W2的紧密度。紧密度就是表征物品所在的环境的拥堵程度，紧密度可以通过下述公式计算得到

其中w表示某个物品，w_e表示各个与物品w相邻的物品，||w-w_e||表示w与w_e的距离。

300.在第三区域中选择的物品的数量没有达到上述差值的情况下，重复执行上一步骤。

这种第四分拣序列确定方式可以较大概率增大第一分拣器和第二分拣器可以同步运行的时间。因为这一确定方式可以最大限度降低第三区域中物品之间的拥挤程度，物品拥挤程度降低有利于同步分拣。

步骤(a-c)中得到的第一分拣序列和第二分拣序列中的物品可以被同步分拣，提升分拣效率，细节的排序如果可以结合上文(1-3)，还能同时达到缩短末端执行器运动路径的技术效果。

在执行完前文之后，如果符合第一预设情况还需要执行下述操作：执行第一算法，所述第一算法用于在第三区域中选择第一物品和第二物品，并基于所述第一物品扩充所述第一分拣序列，以及基于所述第二物品扩充所述第二分拣序列，所述第一分拣器分拣所述第一物品的操作和所述第二分拣器分拣所述第二物品的操作被限定为同步执行；重复执行所述第一算法直至达到第一终止执行条件。

第一预设情况包括两种：(1)第三数量不为零，并且所述第一数量等于所述第二数量。(2)第一数量不等于第二数量，但是在执行上述步骤之后第三区域中还存在未被选中的物品。

第一终止执行条件也包括两种情况：第三区域中不存在未被选择过的物品(无法选择出第一物品)或者，在选择第一物品之后，无法选择出第二物品。

在一个实施例中，第一算法的执行过程可以被描述为a1-b1，这种第一算法的执行过程可以尽可能缩短第一分拣器的运动路径，并且通过降低拥挤程度有利于同步分拣。

(a1)在未达到第一终止条件的情况下，将所述第三区域中未被选择过的物品中，与上述第一分拣序列中最后一个物品距离最近的物品作为第一物品；并且，将位于所述第三区域中并且位于所述第一物品的辐射区域之外紧密度最高的物品作为第二物品。第一物品的辐射区域的含义是只要某一物品不位于该辐射区域，则当第一分拣器分拣该第一物品，并且第二分拣器同步分拣该某一物品时，第一分拣器和第二分拣器不会发生碰撞。

(b1)在未达到第一终止条件的情况下，将上述第一物品追加到上述第一分拣序列，将上述第二物品追加到上述第二分拣序列，持续上述步骤直至达到第一终止条件。

在一个实施例中，第一算法的执行过程可以被描述为a10-b10，这种第一算法的执行过程可以尽可能缩短第一分拣器和第二分拣器的运动路径。

(a10)在未达到第一终止条件的情况下，将所述第三区域中未被选择过的物品中，与上述第一分拣序列中最后一个物品距离最近的物品作为第一物品；将位于所述第三区域中并且位于所述第一物品的辐射区域之外，与所述第二分拣序列中最后一个物品距离最近的物品作为第二物品。

(b10)在未达到第一终止条件的情况下，将上述第一物品追加到上述第一分拣序列，将上述第二物品追加到上述第二分拣序列，持续上述步骤直至达到第一终止条件。

如果第一终止条件被触发并且第三区域中不存在未被选择过的物品，则第一分拣序列和第二分拣序列可以被完全确定。

在执行完前文之后，如果达到第一终止执行条件并且所述第三区域中存在待选物品时(待选物品为不属于第一分拣序列并且不属于第二分拣序列的物品)，还需要执行下述操作：执行第二算法，所述第二算法用于在所述第三区域的待选物品中选择第三物品，基于所述第三物品扩充所述第一分拣序列，以及响应于所述第三区域中依然存在待选物品的情况，在所述第三区域的待选物品中选择第四物品，基于所述第四物品扩充所述第二分拣序列，所述第一分拣器分拣所述第三物品的操作和所述第二分拣器分拣所述第四物品的操作被限定为异步执行；重复执行所述第二算法直至达到第二终止执行条件。

第二终止执行条件包括两种情况：无法选择出第三物品或者无法选择出第四物品。在一个实施例中，第二算法的执行过程可以描述如下：

(a100)在未达到第二终止条件的情况下，将所述第三区域的待选物品中，与上述第一分拣序列中最后一个物品距离最近的物品作为第三物品，将所述第三物品追加入上述第一分拣序列。

(b100)在未达到第二终止条件的情况下，将所述第三区域的待选物品中，与上述第二分拣序列中最后一个物品距离最近的物品作为第四物品，将所述第四物品追加入上述第二分拣序列。

(c100)持续上述步骤直至达到第二终止条件。

(a100-c100)可以尽可能缩短第一分拣器的运动路径，以及第二分拣器的运动路径。在本公开实施例中通过步骤(a100-b100)被选择出来的物品都携带有异步标记。(a100-c100)被执行完毕后，第一分拣序列和第二分拣序列被完全确定，基于第一分拣序列和第二分拣序列即可控制第一分拣器和第二分拣器进行分拣了。

本公开实施例还提供一种分拣系统，所述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，所述第一分拣器、所述第二分拣器、所述栈板、所述摄像设备均受控于所述控制器，所述控制器用于执行下述操作：

响应于所述栈板被移动至第一位置的情况，所述控制器调整所述摄像设备的位置，以使得所述摄像设备的位置满足第一要求，所述第一位置为对所述栈板中的物品进行分拣情况下，所述栈板的初始位置，所述第一要求用于约束所述栈板中位于顶层的物品位于所述摄像设备的中心区域；

所述控制器触发所述摄像设备进行拍摄，得到第一图像；

所述控制器根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，上述计算机可读存储介质中存储有至少一条指令或至少一段程序，上述至少一条指令或至少一段程序由处理器加载并执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种物品分拣方法，其特征在于，所述方法应用于分拣系统，所述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，所述第一分拣器、所述第二分拣器、所述栈板、所述摄像设备均受控于所述控制器，所述方法包括：

所述控制器触发所述摄像设备进行拍摄，得到第一图像；

根据所述每一物品对应的平面位置信息和所述每一物品的竖直位置信息，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣；

根据所述每一物品对应的平面位置，确定物品分布图；

所述物品分布图中每个物体包括边界信息和所述每一物品的竖直位置信息；

通过训练神经网络，基于所述神经网络对所述第一图像进行识别，得到所述边界信息，从而生成所述物品分布图；

所述神经网络包括分级卷积网络、基于注意力的编码网络、融合网络和识别网络；

所述神经网络的训练方法包括：

获取样本图像，所述样本图像的标签表征所述样本图像中物品的边界信息；

基于所述分级卷积网络对所述样本图像进行分级卷积处理，得到第一特征信息；

基于所述基于注意力的编码网络对所述样本图像进行基于注意力的编码处理，得到第二特征信息；

基于所述融合网络对所述第一特征信息和所述第二特征信息进行融合处理，得到第三特征信息；

将所述第三特征信息输入所述识别网络，得到边界预测信息；

基于所述边界预测信息和所述样本图像的标签的差异，优化所述神经网络的参数。

2.根据权利要求1所述的方法，其特征在于，

所述分拣系统还包括竖直导轨，所述摄像设备在所述竖直导轨滑动，并且所述摄像设备正对所述栈板中位于顶层的物品所形成的平面，所述控制器调整所述摄像设备的位置，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述每一物品对应的平面位置信息和所述每一物品的竖直位置信息，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣，还包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述物品分布图，确定所述第一分拣器对应的第一分拣序列，以及所述第二分拣器对应的第二分拣序列，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一区域中物品的分布、所述第二区域中物品的分布以及所述第三区域中物品的分布，确定所述第一分拣序列以及所述第二分拣序列，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

重复执行所述第一算法直至达到第一终止执行条件。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

重复执行所述第二算法直至达到第二终止执行条件。

8.一种分拣系统，使用如权利要求1所述的方法，其特征在于，所述分拣系统包括第一分拣器、第二分拣器、栈板、摄像设备和控制器，所述第一分拣器、所述第二分拣器、所述栈板、所述摄像设备均受控于所述控制器，所述控制器用于执行下述操作：

触发所述摄像设备进行拍摄，得到第一图像；

根据所述第一图像，控制所述第一分拣器和所述第二分拣器对所述栈板中位于顶层的物品进行分拣。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至7中任意一项所述的一种物品分拣方法。