CN116038715A - 取箱方法、装置、机器人和存储介质 - Google Patents

Abstract

本发明公开一种取箱方法、装置、机器人和可读存储介质，该方法包括：获取目标货箱的深度图像和目标货箱的实际高度，然后基于深度图像，获取目标货箱的边缘和目标格口的边缘构成的货箱平面区域。然后，基于货箱平面区域和目标货箱的实际高度，确定目标货箱的上边缘与目标格口上边缘之间的超高平面区域后，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体是否超过目标货箱的上边缘的超高结果，进而可以根据超高结果，控制机器人执行取箱任务，能够对目标货箱的位置信息进行定位的同时检测目标货箱中的物体是否超高，能够避免在目标货箱中的物体超高的情况下进行取箱动作，极大地降低了目标货箱损坏以及取箱失败的风险。

Description

取箱方法、装置、机器人和存储介质

技术领域

本发明涉及计算机技术领域，尤其是涉及一种取箱方法、装置、机器人和存储介质。

背景技术

近年来，机器人技术的蓬勃发展为整个物流行业带来了巨大的技术变革，“货到人”机器人系统为仓储行业带来新的技术和新的设计理念。其中，货箱到人为“货到人”的一种，是目前仓储系统中较为普遍的一种方式，货箱到人是指由机器人将货箱搬运到工作站。在机器人将货箱搬运至工作站后，工作人员可以根据订单信息在工作站完成货物的拣选。目前，当机器人将货箱搬运至工作站时，首先需要检测目标货箱的目标位置，进而机器人可以通过控制机械臂基于目标位置拿取目标货箱。

传统的取箱方法是在机器人接收到目标货箱的取箱任务后，机器人运行至目标货箱所在的目标货架，利用设置于机器人上的深感相机针对目标货架上的预设区域进行拍摄，并基于拍摄得到的深度图像获取目标货箱的检测信息，其中，检测信息包括目标货箱的宽度、目标货箱至深度相机的距离、目标货箱相对于深度相机的水平位置偏移以及目标货箱平面的角度信息等。机器人基于检测信息计算目标货箱的目标位置，并控制机器人配置的机械臂基于目标位置拿取目标货箱。

然而，传统的取箱方法存在机器人执行取箱任务时，当货箱内的物体超出货箱高度时，由于受到货架的阻挡，可能无法正常取出的问题。

发明内容

本发明提供了一种取箱方法、装置、机器人和存储介质，以解决采用传统的取箱方法在机器人执行取箱任务时，当货箱内的物体超出货箱高度时，由于受到货架的阻挡，可能无法正常取出的问题。具体地，本申请实施例公开了以下技术方案：

第一方面，本申请实施例提供一种取箱方法，该方法包括：

获取目标货箱的深度图像和目标货箱的实际高度；其中，深度图像为机器人的深度相机对目标货箱拍摄的图像；

基于深度图像，获取目标货箱的货箱平面区域；货箱平面区域为目标货箱的边缘和目标格口的边缘构成的平面区域；目标货箱放置于货架中的目标格口中；

基于货箱平面区域和目标货箱的实际高度，确定超高平面区域；超高平面区域为目标货箱的上边缘与目标格口上边缘之间的区域；

基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体的超高结果，超高结果用于指示目标货箱中的物体是否超过目标货箱的上边缘；

根据超高结果，控制机器人执行取箱任务。

在一种可选择的实施例中，基于深度图像，获取目标货箱的货箱平面区域，包括：

滤除深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像；

对目标滤波图像中各个像素点进行投影，得到目标投影信息图；

基于目标投影信息图，获取目标货箱的第一边缘信息和目标格口的第二边缘信息；

基于第一边缘信息和第二边缘信息，确定目标货箱的货箱平面区域。

在一种可选择的实施例中，对目标滤波图像中各个像素点进行投影，得到目标投影信息图，包括：

对目标滤波图像中各个像素点进行水平方向的投影，得到目标投影信息图中的第一子投影图；

对目标滤波图像中各个像素点进行垂直方向的投影，得到目标投影信息图中的第二子投影图。

在一种可选择的实施例中，获取目标货箱的第一边缘信息，包括：

针对第一子投影图中每一行的像素点，查找最大像素值的第一像素点和最小像素值的第二像素点；

计算第一像素点的像素值和第二像素点的像素值之间的第一差值，并在第一差值大于第一预设差值阈值的情况下，确定第一像素点和第二像素点为目标货箱的第一边缘像素点，第一边缘像素点的图像信息为第一边缘信息。

在一种可选择的实施例中，获取目标格口的第二边缘信息，包括：

针对第二子投影图中每一列的像素点，查找最大像素值的第三像素点和最小像素值的第四像素点；

计算第三像素点的像素值和第四像素点像素值的第二差值，并在第二差值大于第二预设差值阈值的情况下，确定第三像素点和第四像素点为目标格口的第二边缘像素点，第二边缘像素点的图像信息为第二边缘信息。

在一种可选择的实施例中，根据第一边缘信息和第二边缘信息，确定目标货箱的货箱平面区域，包括：

基于第一边缘信息和第二边缘信息对目标投影信息图进行剪裁，得到初始二维平面区域图；

基于二维平面区域图中的各个像素点的坐标信息，对二维平面区域图中的各个像素点进行平面拟合，得到目标货箱的货箱平面区域。

在一种可选择的实施例中，滤除深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像，包括：

对深度图像中各个像素点中深度数据超出预设取箱范围的像素点进行滤波，得到初始滤波图像；

对初始滤波图像中的各个像素点进行中值滤波，得到目标滤波图像。

在一种可选择的实施例中，基于货箱平面区域和目标货箱的实际高度，确定超高平面区域，包括：

获取货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标；

将各初始三维坐标与货箱平面区域中各个像素点的坐标作差，得到第三差值，并将第三差值大于第三差值阈值的像素点舍弃，得到参考平面区域；

滤除参考平面区域中的高度小于目标货箱的实际高度的像素点，得到超高平面区域。

在一种可选择的实施例中，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体的超高结果，包括：

在超高平面区域中，获取目标货箱中的物体对应像素点的面积占超高平面区域的比例值；

若比例值大于预设比例阈值，则确定超高结果为目标货箱中的物体超高；

若比例值不大于预设比例阈值，则确定超高结果为目标货箱中的物体未超高。

在一种可选择的实施例中，根据超高结果，控制机器人执行取箱任务，包括：

若超高结果为目标货箱中的物体超高，停止执行取箱任务。

第二方面，本申请实施例还提供了一种取箱装置，包括：

第一获取模块，用于获取目标货箱的深度图像和目标货箱的实际高度；其中，深度图像为机器人的深度相机对目标货箱拍摄的图像；

第二获取模块，用于基于深度图像，获取目标货箱的货箱平面区域；货箱平面区域为目标货箱的边缘和目标格口的边缘构成的平面区域；目标货箱放置于货架中的目标格口中；

第一确定模块，用于基于货箱平面区域和目标货箱的实际高度，确定超高平面区域；超高平面区域为目标货箱的上边缘与目标格口上边缘之间的区域；

第二确定模块，用于基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体的超高结果，超高结果用于指示目标货箱中的物体是否超过目标货箱的上边缘；

控制模块，用于根据超高结果，控制机器人执行取箱任务。

第三方面，本申请实施例提供了一种机器人，包括：处理器和存储器，存储器，用于存储计算机可执行指令；处理器，用于从存储器中读取指令，并执行指令以实现前述第一方面任一实现方式的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储计算机指令，该计算机指令用于使该计算机执行前述第一方面任一实现方式中的方法。

本实施例提供的取箱方法、装置、机器人和存储介质，可以获取目标货箱的深度图像和目标货箱的实际高度，然后基于深度图像，获取目标货箱的边缘和目标格口的边缘构成的货箱平面区域。然后，基于货箱平面区域和目标货箱的实际高度，确定目标货箱的上边缘与目标格口上边缘之间的超高平面区域后，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体是否超过目标货箱的上边缘的超高结果，进而可以根据超高结果，控制机器人执行取箱任务，能够对目标货箱的位置信息进行定位的同时检测目标货箱中的物体是否超高，能够避免在目标货箱中的物体超高的情况下进行取箱动作，极大地降低了目标货箱损坏以及取箱失败的风险。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种货架结构的示意图；

图2为本申请实施例提供的一种货物拿取方法的应用场景图；

图3为本申请实施例提供的一种取箱方法的流程示意图；

图4为本申请实施例提供的一种目标格口中货位的结构示意图；

图5为本申请实施例提供的一种取箱装置的结构示意图；

图6为本申请实施例提供的一种机器人的内部结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作进一步详细的说明。

随着机器人领域的不断发展，整个物流行业也随之发生了巨大的技术变革，越来越多的机器人应用于智能仓储系统。当机器人接收到目标货箱搬取任务时，一般需要对目标货箱进行定位。通常货箱定位是通过机器人上的深度相机，对目标货箱所在货架的预设区域进行拍摄，得到目标货箱的深度图像，进而基于深度图像获取到目标货箱的宽度，目标货箱与深度像机的深度，目标货箱相对于深度相机的水平位置偏移以及目标货箱平面的角度信息，确定出目标货箱的位置信息。进而，控制机器人根据目标货箱的位置信息，拿取目标货箱。

需要说明的是，如图1所示，货架格口的上边缘横梁c可以具有一定的高度h1，上边缘横梁c至货架格口底部的高度为高度h2，整个货架格口内部可存储空间的高度为h1+h2的高度总和。其中，货箱的实际高度h3小于h2。机器人上设置有深度相机A和用于完成取箱操作的取箱机构B(例如，机械臂)。

然而，在实际仓储系统中，参照图1所示，可能存在目标货箱a中的内容物b高出目标货箱a的情况。此时，目标货箱a中的内容物b可能会碰到货架格口的上边缘横梁c，导致目标货箱的翻倒或者损坏，进而，造成机器人拿取目标货箱的任务失败。

基于此，本申请提供一种取箱方法、装置、电子设备和可读存储介质，可以获取目标货箱的深度图像和目标货箱的实际高度，然后基于深度图像，获取目标货箱的边缘和目标格口的边缘构成的货箱平面区域。然后，基于货箱平面区域和目标货箱的实际高度，确定目标货箱的上边缘与目标格口上边缘之间的超高平面区域后，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体是否超过目标货箱的上边缘的超高结果，进而可以根据超高结果，控制机器人执行取箱任务，能够对目标货箱的位置信息进行定位的同时检测目标货箱中的物体是否超高，能够避免在目标货箱中的物体超高的情况下进行取箱动作，极大地降低了目标货箱损坏以及取箱失败的风险。

在对本申请实施例的技术方案说明之前，首先结合附图对本申请实施例的应用场景进行说明。如图2所示，该应用场景中包括电子设备11、机器人12和工作站13。电子设备11可以将目标货箱的出库任务发送至机器人12，以使机器人12运行至目标货架中拿取目标货箱，并在拿取目标货箱后将其运送至工作站，以供工作站13的工作人员对目标货箱中的物品进行拣选。其中，电子设备11通过网络与机器人12进行通信。其中，电子设备11为终端或者服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图3为本申请实施例提供的一种取箱方法的流程示意图，在一些可选择的实施例中，如图3所示，以取箱方法应用于图2中的机器人为执行主体进行说明，该方法包括：

S202，获取目标货箱的深度图像和目标货箱的实际高度；其中，深度图像为机器人的深度相机对目标货箱拍摄的图像。

其中，深度图像为在机器人接收到仓储系统的控制单元(Microcontroller Unit，MCU)发送的取箱任务时，机器人基于取箱任务运行至目标货架，并对目标货架中目标货箱所在目标格口的预设拍摄视野内采用深度相机进行拍摄得到图像。需要说明的是，取箱任务中包括目标货箱在目标货架中目标格口位置信息。

其中，目标货箱的实际高度为MCU中预先存储的信息，可以在向机器人下发取箱任务的同时向机器人发送目标货箱的实际高度。也可以在向机器人下发取箱任务后，向机器人下发目标货箱的实际高度，在此不加以限制。可选地，取箱任务中还可以包括目标货箱的实际高度，在此不加以限制。

需要说明的是，当深度相机拍摄到深度图像后，可以将深度图像传输至机器人的控制单元，机器人的控制单元也可以接收储系统的控制单元发送的目标货箱的实际高度，即获取目标货箱的深度图像和目标货箱的实际高度。

S204，基于深度图像，获取目标货箱的货箱平面区域。其中，货箱平面区域为目标货箱的边缘和目标格口的边缘构成的平面区域。目标货箱放置于货架中的目标格口中。

具体地，当获取到深度图像后，可以获取到目标货箱的深度信息、目标格口的深度信息。根据目标货箱的深度信息和目标格口的深度信息，可以确定目标货箱的货箱平面区域。

在一种可选择的实施例中，步骤S204具体包括：

S2042，滤除深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像。

其中，预设取箱范围为基于目标货箱位于目标格口的所在位置确定的能够拿取目标货箱的距离信息。若目标格口中包括多个货位时，可以根据目标货箱位于具体货位的位置信息，设置对应的预设取箱范围。示例地，如图4所示，目标格口1中包括两个货位，若目标货箱位于第一货位q，则可以设置预设取箱范围为(20±3)cm。若目标货箱位于第二货位w，可以设置预设取箱范围为(40±3)cm，需要说明的是，在若目标货箱位于第二货位w，则第一货位q可能并未放置货箱，则后续机器人可以直接执行取箱操作。若第一货位q中放置有货箱，则在执行第二货位w的取箱操作时，需要先将第一货位q中放置的货箱搬运至其他位置后，再执行对第二货位w的取箱操作。

在一种可选择的实施例中，步骤S2042，具体包括：

S2042a，对深度图像中各个像素点中深度数据超出预设取箱范围的像素点进行滤波，得到初始滤波图像。

需要说明的是，深度数据用于指示物体至深度相机的距离信息。

S2042b，对初始滤波图像中的各个像素点进行中值滤波，得到目标滤波图像。

在本实施例中，通过对对深度图像中各个像素点中深度数据超出预设取箱范围的像素点进行滤波，得到初始滤波图像，能够将取箱范围外的其他像素过滤，仅得到需要进行考虑的区域，进一步地，对初始滤波图像中的各个像素点进行中值滤波，得到较为合理的目标滤波图像。

S2044，对目标滤波图像中各个像素点进行投影，得到目标投影信息图；

具体地，对目标滤波图像中各个像素点进行水平方向和/或垂直方向的投影，得到对应的目标投影信息图。

进一步地，步骤S2044，具体包括：

S2044a，对目标滤波图像中各个像素点进行水平方向的投影，得到目标投影信息图中的第一子投影图。

S2044b，对目标滤波图像中各个像素点进行垂直方向的投影，得到目标投影信息图中的第二子投影图。

在本实施例中，可以将目标滤波图像由三维图像转换为不同方向的二维图像，以便后续的计算。

S2046，基于目标投影信息图，获取目标货箱的第一边缘信息和目标格口的第二边缘信息。

其中，第一边缘信息为目标货箱的上边缘的信息。第二边缘信息为目标格口的下边缘的信息。

具体地，在获取到目标投影信息图后，可以将目标投影信息图中各行的像素点，相邻两个像素点的像素值进行比较，若差值大于差值阈值，则作为目标货箱的第一边缘像素点，并将第一边缘像素点的像素信息作为第一边缘信息。可以将目标投影信息图中各列的像素点，相邻两个像素点的像素值进行比较，若差值大于差值阈值，则作为目标格口的第二边缘像素点，并将第二边缘像素点的像素信息作为第二边缘信息。

在一种可选择的实施例中，获取目标货箱的第一边缘信息，包括：

S2046a，针对第一子投影图中每一行的像素点，查找最大像素值的第一像素点和最小像素值的第二像素点。

S2046b，计算第一像素点的像素值和第二像素点的像素值之间的第一差值，并在第一差值大于第一预设差值阈值的情况下，确定第一像素点和第二像素点为目标货箱的第一边缘像素点，第一边缘像素点的图像信息为第一边缘信息。

在本实施例中，利用像素值出现较为显著变化的两个像素点作为边缘信息，能够较为准确的确定出目标货箱的边缘信息。

在一种可选择的实施例中，获取目标格口的第二边缘信息，包括：

S2046A，针对第二子投影图中每一列的像素点，查找最大像素值的第三像素点和最小像素值的第四像素点。

S2046B，计算第三像素点的像素值和第四像素点像素值的第二差值，并在第二差值大于第二预设差值阈值的情况下，确定第三像素点和第四像素点为目标格口的第二边缘像素点，第二边缘像素点的图像信息为第二边缘信息。

在本实施例中，利用像素值出现较为显著变化(也即像素)的两个像素点作为边缘信息，能够较为准确的确定出目标格口的边缘信息。

S2048，基于第一边缘信息和第二边缘信息，确定目标货箱的货箱平面区域。

具体地，确定第一边缘信息和第二边缘信息后，对第一边缘信息和第二边缘信息对应的目标投影信息图进行二维平面拟合，得到目标货箱的货箱平面区域。

在一种可选择的实施例中，步骤S2048，具体包括：

S2048a，基于第一边缘信息和第二边缘信息对目标投影信息图进行剪裁，得到初始二维平面区域图。

S2048b，基于二维平面区域图中的各个像素点的坐标信息，对二维平面区域图中的各个像素点进行平面拟合，得到目标货箱的货箱平面区域。

具体地，对第一边缘信息对应的第一子投影图进行剪裁，对第二边缘信息对应的第二子投影图进行剪裁，得到各自对应的初始二维平面区域图。进一步地，基于各个出十二位平面区域图中各个像素点的像素值，对两个剪裁后的到初始二维平面区域中各个像素点进行平面拟合，得到目标货箱的货箱平面区域。

在本实施例中，通过对第一边缘信息和第二边缘信息对应的目标投影信息图进行剪裁，平面拟合，得到目标货箱的货箱平面区域，以便后续确定出该区域内是否存在超高的物体。

S206，基于货箱平面区域和目标货箱的实际高度，确定超高平面区域；超高平面区域为目标货箱的上边缘与目标格口上边缘之间的区域。

具体地，将货箱平面区域中将目标货箱的上边缘(也即实际高度对应的上边缘)与目标格口上边缘之间的区域，作为超高平面区域。

在一种可选择的实施例中，步骤S206，具体包括：

S2062，获取货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标。

S2064，将各初始三维坐标与货箱平面区域中各个像素点的坐标作差，得到第三差值，并将第三差值大于第三差值阈值的像素点舍弃，得到参考平面区域。

S2066，滤除参考平面区域中的高度小于目标货箱的实际高度的像素点，得到超高平面区域。

需要说明的是货箱平面区域中各个像素点在目标滤波图像中存在的一一对应的像素点，进而可以根据对应关系，确定出货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标。

在本实施例中，可以通过获取货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标后，将各初始三维坐标与货箱平面区域中各个像素点的坐标作差，得到第三差值，并将第三差值大于第三差值阈值的像素点舍弃，得到参考平面区域，能够将一些进行二维平面拟合后差距较大的点去除，得到较为准确的参考平面区域。进而，滤除参考平面区域中的高度小于目标货箱的实际高度的像素点，得到需要确定的超高平面区域，以便后续在超高平面区域中确定出目标货箱的物体是否超高。

S208，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体的超高结果，其中，超高结果用于指示目标货箱中的物体是否超过目标货箱的上边缘。

在一些实施例中，若超高平面区域中存在目标货箱中的物体对应像素点，则确定目标货箱中的物体的超高结果为超高。

在另一些实施例中，若超高平面区域中存在目标货箱中的物体对应像素点超过预设的像素点个数，则确定目标货箱中的物体的超高结果为超高。

在其他可选择的实施例中，步骤S208，具体包括：

在超高平面区域中，获取目标货箱中的物体对应像素点的面积占超高平面区域的比例值。若比例值大于预设比例阈值，则确定超高结果为目标货箱中的物体超高。若比例值不大于预设比例阈值，则确定超高结果为目标货箱中的物体未超高。可选地，预设比例阈值可以设置为30％。能够避免一些虽然物体存在一定的超高情况，但是并不会造成货箱无法取出的情况。

S210，根据超高结果，控制机器人执行取箱任务。

具体地，若超高结果为目标货箱中的物体超高，停止执行取箱任务。若超高结果为目标货箱中的物体未超高，则继续执行取箱任务。

在本申请实施例中，获取目标货箱的深度图像和目标货箱的实际高度，然后基于深度图像，获取目标货箱的边缘和目标格口的边缘构成的货箱平面区域。然后，基于货箱平面区域和目标货箱的实际高度，确定目标货箱的上边缘与目标格口上边缘之间的超高平面区域后，基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体是否超过目标货箱的上边缘的超高结果，进而可以根据超高结果，控制机器人执行取箱任务，能够对目标货箱的位置信息进行定位的同时检测目标货箱中的物体是否超高，能够避免在目标货箱中的物体超高的情况下进行取箱动作，极大地降低了目标货箱损坏以及取箱失败的风险。

上述实施例仅为取箱方法的一种可选择的示例，取箱方法还可以包括其他可实现的实施例，在此不加以下限制。关于取箱方法的具体限定和能够达到的有益效果，可以参见上文中对于取箱方法的限定，在此不再赘述。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的取箱方法的取箱装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个取箱装置实施例中的具体限定可以参见上文中对于取箱方法的限定，在此不再赘述。具体地，图5为本申请实施例中一种取箱装置的结构示意图。如图5所示，该装置包括：

第一获取模块501，用于获取目标货箱的深度图像和目标货箱的实际高度；其中，深度图像为机器人的深度相机对目标货箱拍摄的图像；

第二获取模块502，用于基于深度图像，获取目标货箱的货箱平面区域；货箱平面区域为目标货箱的边缘和目标格口的边缘构成的平面区域；目标货箱放置于货架中的目标格口中；

第一确定模块503，用于基于货箱平面区域和目标货箱的实际高度，确定超高平面区域；超高平面区域为目标货箱的上边缘与目标格口上边缘之间的区域；

第二确定模块504，用于基于超高平面区域中目标货箱中的物体对应像素点，确定目标货箱中的物体的超高结果，超高结果用于指示目标货箱中的物体是否超过目标货箱的上边缘；

控制模块505，用于根据超高结果，控制机器人执行取箱任务。

关于取箱装置的具体限定和能够达到的有益效果，可以参见上文中对于取箱方法的限定，在此不再赘述。

在一个实施例中，第二获取模块，包括：

滤除单元，用于滤除深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像；

投影单元，用于对目标滤波图像中各个像素点进行投影，得到目标投影信息图；

第一获取单元，用于基于目标投影信息图，获取目标货箱的第一边缘信息和目标格口的第二边缘信息；

第一确定单元，用于基于第一边缘信息和第二边缘信息，确定目标货箱的货箱平面区域。

在一个实施例中，投影单元，具体用于对目标滤波图像中各个像素点进行水平方向的投影，得到目标投影信息图中的第一子投影图；对目标滤波图像中各个像素点进行垂直方向的投影，得到目标投影信息图中的第二子投影图。

在一个实施例中，第一获取单元，具体用于针对第一子投影图中每一行的像素点，查找最大像素值的第一像素点和最小像素值的第二像素点；计算第一像素点的像素值和第二像素点的像素值之间的第一差值，并在第一差值大于第一预设差值阈值的情况下，确定第一像素点和第二像素点为目标货箱的第一边缘像素点，第一边缘像素点的图像信息为第一边缘信息。

在一个实施例中，第一获取单元，具体用于针对第二子投影图中每一列的像素点，查找最大像素值的第三像素点和最小像素值的第四像素点；计算第三像素点的像素值和第四像素点像素值的第二差值，并在第二差值大于第二预设差值阈值的情况下，确定第三像素点和第四像素点为目标格口的第二边缘像素点，第二边缘像素点的图像信息为第二边缘信息。

在一个实施例中，第一确定单元，具体用于基于第一边缘信息和第二边缘信息对目标投影信息图进行剪裁，得到初始二维平面区域图；基于二维平面区域图中的各个像素点的坐标信息，对二维平面区域图中的各个像素点进行平面拟合，得到目标货箱的货箱平面区域。

在一个实施例中，滤除单元，具体用于对深度图像中各个像素点中深度数据超出预设取箱范围的像素点进行滤波，得到初始滤波图像；对初始滤波图像中的各个像素点进行中值滤波，得到目标滤波图像。

在一个实施例中，第一确定模块，包括：

第二获取单元，用于获取货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标；

第二确定单元，用于将各初始三维坐标与货箱平面区域中各个像素点的坐标作差，得到第三差值，并将第三差值大于第三差值阈值的像素点舍弃，得到参考平面区域；

第三确定单元，用于滤除参考平面区域中的高度小于目标货箱的实际高度的像素点，得到超高平面区域。

在一个实施例中，第二确定模块，包括：

第三获取单元，用于在超高平面区域中，获取目标货箱中的物体对应像素点的面积占超高平面区域的比例值；

第四确定单元，用于若比例值大于预设比例阈值，则确定超高结果为目标货箱中的物体超高；

第五确定单元，用于若比例值不大于预设比例阈值，则确定超高结果为目标货箱中的物体未超高。

在一个实施例中，控制模块，包括：

第一控制单元，用于若超高结果为目标货箱中的物体超高，停止执行取箱任务。

关于取箱装置的具体限定和能够达到的有益效果，可以参见上文中对于取箱方法的限定，在此不再赘述。上述取箱装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在具体实现中，本申请实施例还提供了一种电子设备，该电子设备可以是前述实施例中的服务器，用于实现前述取箱方法步骤中的全部或部分。

如图6所示，为本实施例提供的一种机器人的内部结构示意图。包括：至少一个处理器110、存储器120和至少一个接口130，此外，还可以包括通信总线140，用于连接上述这些部件。

其中，至少一个处理器110可以是CPU或处理芯片，用于读取并执行存储器120中存储的计算机程序指令，以使至少一个处理器110能够执行前述各个实施例中的方法流程。

存储器120可以为非暂态存储器(non-transitory memory)，其可以包含易失性存储器，例如高速随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

至少一个接口130包括输入输出接口，以及通信接口，通信接口可以是有线或者无线接口，从而实现电子设备与其他设备之间的通信连接。输入输出接口可以用于连接外设，比如显示屏、键盘等。

在一些实施方式中，存储器120存储了计算机可读程序指令，当处理器110读取并执行该存储器120中的程序指令时，可实现前述实施例中的一种取箱方法。

此外，本实施例还提供了一种计算机程序产品，用于存储计算机可读程序指令，该指令被处理器110执行时，可实现前述实施例中的一种取箱方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在具体实现中，本申请实施例还提供了一种机器人，包括：存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项实施例中方法的步骤。

在具体实现中，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例中方法的步骤。

在具体实现中，本申请实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项实施例中方法的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random AccessMemory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种取箱方法，其特征在于，包括：

获取目标货箱的深度图像和所述目标货箱的实际高度；其中，所述深度图像为机器人的深度相机对所述目标货箱拍摄的图像；

基于所述深度图像，获取所述目标货箱的货箱平面区域；所述货箱平面区域为所述目标货箱的边缘和目标格口的边缘构成的平面区域；所述目标货箱放置于货架中的所述目标格口中；

基于所述货箱平面区域和所述目标货箱的实际高度，确定超高平面区域；所述超高平面区域为所述目标货箱的上边缘与所述目标格口上边缘之间的区域；

基于所述超高平面区域中所述目标货箱中的物体对应像素点，确定所述目标货箱中的物体的超高结果，所述超高结果用于指示所述目标货箱中的物体是否超过所述目标货箱的上边缘；

根据所述超高结果，控制所述机器人执行取箱任务。

2.根据权利要求1所述的方法，其特征在于，所述基于所述深度图像，获取所述目标货箱的货箱平面区域，包括：

滤除所述深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像；

对所述目标滤波图像中各个像素点进行投影，得到目标投影信息图；

基于所述目标投影信息图，获取所述目标货箱的第一边缘信息和所述目标格口的第二边缘信息；

基于所述第一边缘信息和所述第二边缘信息，确定所述目标货箱的货箱平面区域。

3.根据权利要求2所述的方法，其特征在于，所述对所述目标滤波图像中各个像素点进行投影，得到目标投影信息图，包括：

对所述目标滤波图像中各个像素点进行水平方向的投影，得到目标投影信息图中的第一子投影图；

对所述目标滤波图像中各个像素点进行垂直方向的投影，得到目标投影信息图中的第二子投影图。

4.根据权利要求3所述的方法，其特征在于，所述获取所述目标货箱的第一边缘信息，包括：

针对所述第一子投影图中每一行的像素点，查找最大像素值的第一像素点和最小像素值的第二像素点；

计算所述第一像素点的像素值和第二像素点的像素值之间的第一差值，并在所述第一差值大于第一预设差值阈值的情况下，确定所述第一像素点和所述第二像素点为所述目标货箱的第一边缘像素点，所述第一边缘像素点的图像信息为所述第一边缘信息。

5.根据权利要求3所述的方法，其特征在于，所述获取所述目标格口的第二边缘信息，包括：

针对所述第二子投影图中每一列的像素点，查找最大像素值的第三像素点和最小像素值的第四像素点；

计算所述第三像素点的像素值和第四像素点的像素值之间的第二差值，并在所述第二差值大于第二预设差值阈值的情况下，确定所述第三像素点和所述第四像素点为所述目标格口的第二边缘像素点，所述第二边缘像素点的图像信息为所述第二边缘信息。

6.根据权利要求2所述方法，其特征在于，所述根据所述第一边缘信息和所述第二边缘信息，确定所述目标货箱的货箱平面区域，包括：

基于所述第一边缘信息和所述第二边缘信息对所述目标投影信息图进行剪裁，得到初始二维平面区域图；

基于所述二维平面区域图中的各个像素点的坐标信息，对所述二维平面区域图中的各个像素点进行平面拟合，得到所述目标货箱的货箱平面区域。

7.根据权利要求2所述方法，其特征在于，所述滤除所述深度图像中处于预设取箱范围之外的像素点，得到目标滤波图像，包括：

对所述深度图像中各个像素点中深度数据超出预设取箱范围的像素点进行滤波，得到初始滤波图像；

对所述初始滤波图像中的各个像素点进行中值滤波，得到所述目标滤波图像。

8.根据权利要求2-7任一项所述方法，其特征在于，所述基于所述货箱平面区域和所述目标货箱的实际高度，确定超高平面区域，包括：

获取所述货箱平面区域中各个像素点对应于目标滤波图像的初始三维坐标；

将各所述初始三维坐标与货箱平面区域中各个像素点的坐标作差，得到第三差值，并将所述第三差值大于第三差值阈值的像素点舍弃，得到参考平面区域；

滤除所述参考平面区域中的高度小于所述目标货箱的实际高度的像素点，得到所述超高平面区域。

9.根据权利要求2-7任一项所述方法，其特征在于，所述基于所述超高平面区域中所述目标货箱中的物体对应像素点，确定所述目标货箱中的物体的超高结果，包括：

在所述超高平面区域中，获取所述目标货箱中的物体对应像素点的面积占所述超高平面区域的比例值；

若所述比例值大于所述预设比例阈值，则确定所述超高结果为所述目标货箱中的物体超高；

若所述比例值不大于所述预设比例阈值，则确定所述超高结果为目标货箱中的物体未超高。

10.根据权利要求2-7任一项所述方法，其特征在于，所述根据所述超高结果，控制所述机器人执行取箱任务，包括：

若所述超高结果为所述目标货箱中的物体超高，停止执行所述取箱任务。

11.一种取箱装置，其特征在于，包括：

第一获取模块，用于获取目标货箱的深度图像和所述目标货箱的实际高度；其中，所述深度图像为机器人的深度相机对所述目标货箱拍摄的图像；

第二获取模块，用于基于所述深度图像，获取所述目标货箱的货箱平面区域；所述货箱平面区域为所述目标货箱的边缘和目标格口的边缘构成的平面区域；所述目标货箱放置于货架中的所述目标格口中；

第一确定模块，用于基于所述货箱平面区域和所述目标货箱的实际高度，确定超高平面区域；所述超高平面区域为所述目标货箱的上边缘与所述目标格口上边缘之间的区域；

第二确定模块，用于基于所述超高平面区域中所述目标货箱中的物体对应像素点，确定所述目标货箱中的物体的超高结果，所述超高结果用于指示所述目标货箱中的物体是否超过所述目标货箱的上边缘；

控制模块，用于根据所述超高结果，控制所述机器人执行取箱任务。

12.一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images