CN113313803A - 垛型分析方法、装置、计算设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种垛型分析方法、装置、计算设备及计算机存储介质。该方法包括：获取当前场景中的多个物体对应的点云；将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。本发明通过对被遮挡物体的位姿信息进行估计，实现了对当前场景的真实垛型进行描述，从而避免了垛型较高时，由于低物体被遮挡看不到，误认为此处无物体而错误地进行规划导致压箱问题。

Description

垛型分析方法、装置、计算设备及计算机存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种垛型分析方法、装置、计算设备及计算机存储介质。

背景技术

随着工业智能化的发展，通过机器人代替人工对物体(例如工业零件、箱体等)进行操作的情况越来越普及。在控制机器人对物体(如箱子)的码垛任务中，需要根据当前的垛型情况进行下一个物体码放的规划，一般情况可以根据物体的位姿信息及每次的规划情况来进行后续的码放规划。然而，当3D相机倾斜一定角度而不再是正对物料框时，就可能出现当离3D相机近的一侧的物体码放较高时，会遮挡住码放低处的位置，此时3D相机会拍摄不到低处的物体，那么基于3D相机所采集的图像分析得出的垛型并不是当前场景的真实垛型，依据该垛型进行码垛时，就容易造成压箱问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的垛型分析方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种垛型分析方法，包括：

获取当前场景中的多个物体对应的点云；

将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；

查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；

针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；

根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

根据本发明的另一方面，提供了一种垛型分析装置，包括：

获取模块，适于获取当前场景中的多个物体对应的点云；

投影模块，适于将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；

查找模块，适于查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；

确定模块，适于针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；

分析模块，适于根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述垛型分析方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述垛型分析方法对应的操作。

根据本发明提供的方案，获取当前场景中的多个物体对应的点云；将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。本发明通过对被遮挡物体的位姿信息进行估计，实现了对当前场景的真实垛型进行描述，从而避免了垛型较高时，由于低物体被遮挡看不到，误认为此处无物体而错误地进行规划导致压箱问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的垛型分析方法的流程示意图；

图2A示出了根据本发明另一个实施例的垛型分析方法的流程示意图；

图2B为内接矩形求取结果的示意图；

图3示出了根据本发明一个实施例的垛型分析装置的结构示意图；

图4示出了根据本发明一个实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的垛型分析方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤S101，获取当前场景中的多个物体对应的点云。

当前场景包含有多个物体，可通过设置在上方位置处的3D相机采集当前场景的场景图像和深度图像，具体地，3D相机可包括有激光探测器、LED等可见光探测器、红外探测器和/或雷达探测器等元件，利用这些元件对当前场景进行探测以得到深度图像。场景图像具体可为RGB图像，场景图像和深度图像的像素点一一对应。通过对场景图像和深度图像进行处理，能够便捷地得到场景图像对应的点云，点云包括各个3D点的位姿信息，各个3D点的位姿信息具体可包括各个3D点在空间的XYZ三轴的坐标值以及各个3D点自身的XYZ三轴方向等信息。通过对场景图像和场景图像对应的点云进行实例分割、匹配等一系列处理，可得到当前场景中的多个物体对应的点云。在步骤S101中，获取通过上述处理所得到的当前场景中的多个物体对应的点云。

步骤S102，将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图。

为了能够准确分析出当前场景的垛型，本步骤需要将各个物体的点云中各个3D点正投影至2D平面上，例如，对一个3D点进行透视投影到XY平面上，得到的投影点的坐标为(x’，y’，0)。在本发明实施例中，根据投影方向对各个物体的点云中各个3D点进行透视投影的处理，比如，可以通过透视算法来实现，其中，透视算法可以采用本发明之前的透视算法、或者本发明之后的透视算法，这里不作具体限定。通过透射投影能够得到各个物体在2D平面上的投影分布图。当然还可以采用其它投影方法，这里不再一一列举。

为了能够区分投影到2D平面上的投影点，利用两种不同的颜色来呈现投影分布图，3D点正投影至2D平面上的投影点呈现同一种颜色，而未被投影的区域则呈现另一种颜色。

步骤S103，查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体。

通常情况下，有物体存在时，在投影分布图上会存在2D投影点，而不存在2D投影点的地方，则可能是由于高物体遮挡低物体造成的，为了避免后期因为物体被遮挡原因而导致垛型分析不准确造成压箱问题，本实施例需要重新分析当前场景的垛型信息，具体地，需要查找投影分布图中未被投影的至少一个空缺区域，这里的空缺区域指投影分布图中不存在投影点的区域，在查找到至少一个空缺区域后，确定至少一个空缺区域对应的内接矩形，这里的内接矩形是空缺区域所对应的最大内接矩形，内接矩形确定方法可以采用本发明之前或之后的确定算法，这里不再赘述。本步骤确定至少一个空缺区域对应的内接矩形而不是外接矩形，是为了避免覆盖当前场景中物体投影至2D平面上的投影点。其中，投影分布图中未被投影空缺区域可以认为对应被遮挡物体。

步骤S104，针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息。

为了能够准确分析出当前场景的垛型信息，在确定至少一个空缺区域对应的内接矩形之后，针对任一空缺区域，需要分析确定出被遮挡物体的3D信息，具体地，可以根据该空缺区域对应的内接矩形来确定被遮挡物体的3D信息。

步骤S105，根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

在利用步骤S104确定了被遮挡物体的3D信息后，为了便于后续进行物体码垛，需要分析出当前场景的垛型信息，具体地，可以根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息来分析当前场景的垛型信息，当前场景的垛型信息是多个物体对应的点云及被遮挡物体的3D信息的组合。

根据本发明上述实施例提供的方法，获取当前场景中的多个物体对应的点云；将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。本发明通过对被遮挡物体的3D信息进行估计，实现了对当前场景的真实垛型进行描述，从而避免了垛型较高时，由于低物体被遮挡看不到，误认为此处无物体而错误地进行规划导致压箱问题。

图2A示出了根据本发明另一个实施例的垛型分析方法的流程示意图。如图2A所示，该方法包括以下步骤：

步骤S201，获取当前场景中的多个物体的位姿信息以及多个物体对应的点云。

当前场景包含有多个物体，可通过设置在上方位置处的3D相机采集当前场景的场景图像和深度图像，具体地，3D相机可包括有激光探测器、LED等可见光探测器、红外探测器和/或雷达探测器等元件，利用这些元件对当前场景进行探测以得到深度图像。场景图像具体可为RGB图像，场景图像和深度图像的像素点一一对应。通过对场景图像和深度图像进行处理，能够便捷地得到场景图像对应的点云，点云包括各个3D点的位姿信息，各个3D点的位姿信息具体可包括各个3D点在空间的XYZ三轴的坐标值以及各个3D点自身的XYZ三轴方向等信息。通过对场景图像和场景图像对应的点云进行实例分割、匹配等一系列处理，可得到当前场景中的多个物体的位姿信息以及多个物体对应的点云。在步骤S101中，获取通过上述处理所得到的当前场景中的多个物体的位姿信息以及多个物体对应的点云。

步骤S202，针对任一物体，根据物体的位姿信息判断该物体是否倾斜，若是，则执行步骤S203；若否，则执行步骤S204。

任一物体的位姿信息，具体指的是物体在世界坐标系或者相应地图(比如，点云地图)上的位置及朝向。因此，针对任一物体，可以根据物体的位姿信息判断该物体是否倾斜，具体可以根据朝向的角度来判断物体是否倾斜。

步骤S203，确定该物体是倾斜物体，根据该物体对应的点云中各个3D点的位姿信息调整该物体的3D位姿高度。

若根据物体的位姿信息判断出该物体是倾斜的，为了避免压箱问题，此时倾斜物体的点云求取的位姿不能为倾斜面的表面中心的高度，而是需要为物体最高处，保证物体本身都在其位姿高度之下，因此，需要调整物体的3D位姿高度，3D点的位姿信息是每个3D点在世界坐标系或者相应地图(比如，点云地图)上的位置及朝向，本步骤从物体对应的点云中筛选出最高的3D点，将最高的3D点对应的位姿高度，确定为该物体的3D位姿高度。

步骤S204，确定该物体是未倾斜物体。

若根据物体的位姿信息判断出该物体不是倾斜的，可以确定该物体是未倾斜物体。

步骤S205，将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图。

为了能够准确分析出当前场景的垛型，本步骤需要将各个物体的点云中各个3D点正投影至2D平面上，例如，对一个3D点进行透视投影到XY平面上，得到的投影点的坐标为(x’，y’，0)。在本发明实施例中，根据投影方向对各个物体的点云中各个3D点进行透视投影的处理，比如，可以通过透视算法来实现，其中，透视算法可以采用本发明之前的透视算法、或者本发明之后的透视算法，这里不作具体限定。通过透射投影能够得到各个物体在2D平面上的投影分布图。当然还可以采用其它投影方法，这里不再一一列举。

为了能够区分投影到2D平面上的投影点，利用两种不同的颜色来呈现投影分布图，3D点正投影至2D平面上的投影点呈现同一种颜色，而未被投影的区域则呈现另一种颜色。

需要说明的是，步骤S205和步骤S202可以同时执行，或者先后执行，这里不再具体限定。

步骤S206，查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体。

通常情况下，有物体存在时，在投影分布图上会存在2D投影点，而不存在2D投影点的地方，则可能是由于高物体遮挡低物体造成的，为了避免后期因为物体被遮挡原因而导致垛型分析不准确造成压箱问题，本实施例需要重新分析当前场景的垛型信息，具体地，对投影分布图使用不同窗口大小，通过平移和旋转来查找投影分布图中未被投影的至少一个空缺区域，这里的空缺区域指投影分布图中不存在投影点的区域，在查找到至少一个空缺区域后，确定至少一个空缺区域对应的内接矩形，如图2B所示，示意性示出了一个空缺区域的内接矩形，这里的内接矩形是空缺区域所对应的最大内接矩形，内接矩形确定方法可以采用本发明之前或之后的确定算法，这里不再赘述。本步骤确定至少一个空缺区域对应的内接矩形而不是外接矩形，是为了避免覆盖当前场景中物体投影至2D平面上的投影点。其中，投影分布图中未被投影空缺区域可以认为对应被遮挡物体。

步骤S207，利用最小面积过滤方法、最大面积过滤方法和/或长宽比过滤方法对内接矩形进行过滤，得到目标内接矩形。

虽然步骤S206确定出至少一个空缺区域对应的内接矩形，但是空缺区域可能是物料框底部的格子区域，也可能是码垛时，物体间的狭小缝隙等，为了提高垛型分析的准确性，本步骤需要对内接矩形进行过滤，具体地，可以对内接矩形进行最小面积、最大面积、长宽比过滤，即，将面积小于最小面积的内接矩形过滤掉，将面积大于最大面积的内接矩形过滤掉，将长宽比大于预设阈值的内接矩形过滤掉，剩余的内接矩形即为目标内接矩形。

步骤S208，根据目标内接矩形的长宽尺寸信息及正投影映射关系，计算被遮挡物体的3D长宽尺寸信息。

针对任一目标内接矩形，可以测量确定目标内接矩形的长宽尺寸信息，被遮挡物体是一个三维立体的物体，因此，还需要计算被遮挡物体的3D信息，具体地，根据目标内接矩形的长宽尺寸信息及正投影映射关系，计算被遮挡物体的3D长宽尺寸信息，具体的计算方法可以参照现有技术，这里不再赘述。

步骤S209，利用预设计算方法计算被遮挡物体的3D位姿高度，得到被遮挡物体的3D信息。

具体地，可以通过如下方法来计算被遮挡物体的3D位姿高度：

方法一：确定在被遮挡物体预设范围内的至少一个物体；根据至少一个物体中最高物体的3D位姿高度及预设比例值确定被遮挡物体的3D位姿高度。

预先设置一范围，该范围是以被遮挡物体为中心半径为预设阈值所确定的，在确定了被遮挡物体后，搜索在被遮挡物体预设范围内的至少一个物体，至少一个物体的3D位姿高度能够根据物体的点云确定，本步骤将根据至少一个物体中最高物体的3D位姿高度及预设比例值确定被遮挡物体的3D位姿高度，例如，确定在被遮挡物体预设范围内有3个物体，物体的3D位姿高度分别是1米、0.9米、0.8米，预设比例值是0.6，那么被遮挡物体的3D位姿高度＝1米*0.6＝0.6米。

方法二：将被遮挡物体的3D位姿高度设置为预设高度阈值，也就是说，任一被遮挡物体的3D位姿高度被设置为固定高度，例如，规定码垛时整个垛型堆满最高是1米，那么可以将被遮挡物体的3D位姿高度设置成0.5或0.6等，这里仅是举例说明，不具有任何限定作用。

可以确定内接矩形的中心点，将中心点根据正投影映射关系转换到3D，确定3D点，在计算得到被遮挡物体的3D位姿高度后，可以确定被遮挡物体的上表面位姿，被遮挡物体的3D信息包括：被遮挡物体的3D长宽尺寸信息及上表面位姿。

步骤S210，根据当前场景中未倾斜物体的点云、倾斜物体的3D位姿高度及被遮挡物体的3D信息确定当前场景的垛型信息。

针对未倾斜物体，可以根据未倾斜物体的点云来确定未倾斜物体的长宽以及上表面位姿信息，针对倾斜物体，根据倾斜物体调整后的3D位姿高度重新确定倾斜物体的上表面位姿信息，根据当前场景中未倾斜物体的长宽以及上表面位姿信息、倾斜物体调整后的上表面位姿信息及被遮挡物体的3D信息确定当前场景的垛型信息。当前场景的垛型信息是多个物体对应的点云及被遮挡物体的3D信息的组合。通过确定当前场景的垛型信息，能够便于后续控制码垛机器人进行物体码垛。

步骤S211，根据垛型信息，控制码垛机器人抓取物体并执行码垛操作。

在分析出当前场景的垛型信息后，可以根据当前场景的垛型信息，来确定即将抓取物体的尺寸信息，以及抓取物体后，物体应该码放的位置，然后，控制码垛机器人抓取相应的物体并将物体码放至相应的位置。

本发明通过对被遮挡物体的3D信息进行估计，实现了对当前场景的真实垛型进行描述，从而避免了垛型较高时，由于低物体被遮挡看不到，误认为此处无物体而错误地进行规划导致压箱问题；对倾斜物体的3D位姿高度进行调整，避免了未发现物体倾斜而按照倾斜物体原有的3D位姿高度而造成的压箱问题。

图3示出了根据本发明一个实施例的垛型分析装置的结构示意图。如图3所示，该装置包括：获取模块301、投影模块302、查找模块303、确定模块304、分析模块305。

获取模块301，适于获取当前场景中的多个物体对应的点云；

投影模块302，适于将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；

查找模块303，适于查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；

确定模块304，适于针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；

分析模块305，适于根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

可选地，确定模块进一步适于：根据内接矩形的长宽尺寸信息及正投影映射关系，计算被遮挡物体的3D长宽尺寸信息；

利用预设计算方法计算被遮挡物体的3D位姿高度，得到被遮挡物体的3D信息。

可选地，确定模块进一步适于：确定在被遮挡物体预设范围内的至少一个物体；

根据至少一个物体中最高物体的3D位姿高度及预设比例值确定被遮挡物体的3D位姿高度。

可选地，确定模块进一步适于：将被遮挡物体的3D位姿高度设置为预设高度阈值。

可选地，装置还包括：过滤模块，适于利用最小面积过滤装置、最大面积过滤装置和/或长宽比过滤装置对内接矩形进行过滤，得到目标内接矩形。

可选地，获取模块还适于：获取当前场景中的多个物体的位姿信息；

装置还包括：判断模块，适于针对任一物体，根据物体的位姿信息判断该物体是否倾斜；

调整模块，适于若判断物体倾斜，则根据该物体对应的点云中各个3D点的位姿信息调整该物体的3D位姿高度；

分析模块进一步适于：根据当前场景中未倾斜物体的点云、倾斜物体的3D位姿高度及被遮挡物体的3D信息确定当前场景的垛型信息。

可选地，装置还包括：码垛模块，适于根据垛型信息，控制码垛机器人抓取物体并执行码垛操作。

根据本发明上述实施例提供的装置，获取当前场景中的多个物体对应的点云；将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；查找投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。本发明通过对被遮挡物体的位姿信息进行估计，实现了对当前场景的真实垛型进行描述，从而避免了垛型较高时，由于低物体被遮挡看不到，误认为此处无物体而错误地进行规划导致压箱问题。

本申请实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的垛型分析方法。

图4示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述垛型分析方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述任意方法实施例中的垛型分析方法。程序410中各步骤的具体实现可以参见上述垛型分析实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (16)

1.一种垛型分析方法，包括：

获取当前场景中的多个物体对应的点云；

将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；

查找所述投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；

针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；

根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

2.根据权利要求1所述的方法，其中，所述针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息进一步包括：

根据内接矩形的长宽尺寸信息及正投影映射关系，计算被遮挡物体的3D长宽尺寸信息；

利用预设计算方法计算被遮挡物体的3D位姿高度，得到被遮挡物体的3D信息。

3.根据权利要求2所述的方法，其中，所述利用预设计算方法计算被遮挡物体的3D位姿高度进一步包括：

确定在被遮挡物体预设范围内的至少一个物体；

根据至少一个物体中最高物体的3D位姿高度及预设比例值确定被遮挡物体的3D位姿高度。

4.根据权利要求2所述的方法，其中，所述利用预设计算方法计算被遮挡物体的3D位姿高度进一步包括：

将被遮挡物体的3D位姿高度设置为预设高度阈值。

5.根据权利要求1-4中任一项所述的方法，其中，在确定至少一个空缺区域对应的内接矩形之后，所述方法还包括：

利用最小面积过滤方法、最大面积过滤方法和/或长宽比过滤方法对内接矩形进行过滤，得到目标内接矩形。

6.根据权利要求1-5中任一项所述的方法，其中，在获取当前场景中的多个物体对应的点云之后，所述方法还包括：

获取当前场景中的多个物体的位姿信息，针对任一物体，根据物体的位姿信息判断该物体是否倾斜；

若是，则根据该物体对应的点云中各个3D点的位姿信息调整该物体的3D位姿高度；

所述根据当前场景中的多个物体对应的点云及被遮挡物体的3D尺寸信息分析当前场景的垛型信息进一步包括：

根据当前场景中未倾斜物体的点云、倾斜物体的3D位姿高度及被遮挡物体的3D信息确定当前场景的垛型信息。

7.根据权利要求1-6中任一项所述的方法，其中，在根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息之后，所述方法还包括：

根据所述垛型信息，控制码垛机器人抓取物体并执行码垛操作。

8.一种垛型分析装置，包括：

获取模块，适于获取当前场景中的多个物体对应的点云；

投影模块，适于将各个物体的点云中各个3D点正投影至2D平面上，得到投影分布图；

查找模块，适于查找所述投影分布图中未被投影的至少一个空缺区域，确定至少一个空缺区域对应的内接矩形，其中，空缺区域对应被遮挡物体；

确定模块，适于针对任一空缺区域，根据该空缺区域对应的内接矩形确定被遮挡物体的3D信息；

分析模块，适于根据当前场景中的多个物体对应的点云及被遮挡物体的3D信息分析当前场景的垛型信息。

9.根据权利要求8所述的装置，其中，所述确定模块进一步适于：

根据内接矩形的长宽尺寸信息及正投影映射关系，计算被遮挡物体的3D长宽尺寸信息；

利用预设计算方法计算被遮挡物体的3D位姿高度，得到被遮挡物体的3D信息。

10.根据权利要求9所述的装置，其中，所述确定模块进一步适于：确定在被遮挡物体预设范围内的至少一个物体；

根据至少一个物体中最高物体的3D位姿高度及预设比例值确定被遮挡物体的3D位姿高度。

11.根据权利要求9所述的装置，其中，所述确定模块进一步适于：将被遮挡物体的3D位姿高度设置为预设高度阈值。

12.根据权利要求8-11中任一项所述的装置，其中，所述装置还包括：

过滤模块，适于利用最小面积过滤装置、最大面积过滤装置和/或长宽比过滤装置对内接矩形进行过滤，得到目标内接矩形。

13.根据权利要求8-12中任一项所述的装置，其中，所述获取模块还适于：获取当前场景中的多个物体的位姿信息；

所述装置还包括：判断模块，适于针对任一物体，根据物体的位姿信息判断该物体是否倾斜；

调整模块，适于若判断物体倾斜，则根据该物体对应的点云中各个3D点的位姿信息调整该物体的3D位姿高度；

所述分析模块进一步适于：根据当前场景中未倾斜物体的点云、倾斜物体的3D位姿高度及被遮挡物体的3D信息确定当前场景的垛型信息。

14.根据权利要求8-13中任一项所述的装置，其中，所述装置还包括：

码垛模块，适于根据所述垛型信息，控制码垛机器人抓取物体并执行码垛操作。

15.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的一种垛型分析方法对应的操作。

16.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的一种垛型分析方法对应的操作。

Images