CN111924460B - 一种码垛控制方法及系统 - Google Patents

Abstract

本发明提供了一种码垛控制方法及系统，该方法包括若干次码垛作业，若干次码垛作业中的任一次码垛作业包括：获取码垛作业的作业规划；基于预设码垛位置确认相机的拍摄位置和拍摄角度，驱动相机移动至拍摄位置并调节相机至拍摄角度；基于相机获取第一影像；基于第一影像获取实体占用空间并判断预设码垛空间与实体占用空间是否产生干涉；若产生干涉，基于实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置；计算调整码垛位置与预设码垛位置之间的偏移量，判断偏移量是否在允许阈值范围内；若偏移量在允许阈值范围内，基于调整码垛位置，通过第一机器人执行码垛动作。该方法具有泛用性强、检测速度快等特点。

Description

一种码垛控制方法及系统

技术领域

本发明涉及到运输贮存领域，具体涉及到一种码垛控制方法及系统。

背景技术

现在的机器人进行码垛作业的基本过程为通过示教方式先对机器人的动作进行示教，后续机器人通过示教习得的码垛动作进行重复性码垛作业，机器人的通过示教方式习得的码垛动作是相对固定的，除了人为干预或更改示教程序意外的方式，机器人的码垛动作不会发生变化。

具体的，集装箱属于半封闭局限空间，当机器人在集装箱内进行箱体的码放工作时，由于箱体自身存在变形等因素，箱体在码放完成后也有可能产生滑移等因素，从而使实际码放好的箱体会偏离规划好的码放位置。

如果已码放好的箱体位置发生偏离，必定会影响下一个箱体的码放，很可能就会与规划好的码放位置发生干涉，但是由于机器人码垛作业的动作是预设的，机器人需按照原定的位置对箱体进行码放，就可能会出现箱体间的碰撞、挤压，以致损坏货物。

发明内容

本发明提供了一种码垛控制方法及系统，该码垛控制方法及系统可避免码垛作业的过程中发生箱体碰撞、挤压等情况，能够很好的对货物进行保护。

相应的，本发明提供了一种码垛控制方法，包括若干次码垛作业，所述若干次码垛作业中的任一次码垛作业包括：

获取码垛作业的作业规划，所述作业规划包括预设码垛位置和预设码垛占用空间；

基于所述预设码垛位置确认相机的拍摄位置和拍摄角度，驱动所述相机移动至所述拍摄位置并调节所述相机至所述拍摄角度；

基于所述相机获取第一影像，所述第一影像为对应于所述预设码垛占用空间的图像；

基于所述第一影像获取实体占用空间并判断所述预设码垛空间与所述实体占用空间是否产生干涉；

若所述预设码垛空间与所述实体占用空间产生干涉，基于所述实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置；

所述调整码垛位置在所述调整码垛空间中的相对位置与所述预设码垛位置在所述预设码垛空间中的相对位置一致；

计算所述调整码垛位置与所述预设码垛位置之间的偏移量，判断所述偏移量是否在允许阈值范围内；

若所述偏移量在所述允许阈值范围内，基于所述调整码垛位置，通过第一机器人执行码垛动作。

可选的实施方式，所述作业规划基于作业规划方法生成，所述作业规划方法包括：

接收来料数据，所述来料数据包括每一个来料箱体的尺寸信息；

基于所述来料数据计算得到最优垛型，所述最优垛型包括每一个所述来料箱体的预设码垛位置和预设码垛占用空间；

基于所述最优垛型逆推得出每一个所述来料箱体的码垛顺序。

可选的实施方式，所述作业规划方法还包括：

基于所述码垛顺序安排每一个所述来料箱体在上料流水线的上料顺序；

所述码垛动作包括从所述上料流水线抓取对应的来料箱体。

可选的实施方式，若所述预设码垛占用空间的表面具有若干个平面，所述拍摄角度与所述若干个平面中的任一个平面不垂直。

可选的实施方式，所述码垛作业的码垛对象为矩体结构，所述码垛对象具有六个表平面，所述六个表平面分别属于为三组相对面。

可选的实施方式，所述基于所述第一影像获取实体占用空间并判断所述预设码垛空间与所述实体占用空间是否产生干涉包括：

所述第一影像为深度影像，所述深度影像包括彩色图和深度图；

基于所述彩色图提取所述第一影像的前景影像，所述前景影像为包括实体占用空间的影像；

基于前景影像的深度图生成关于空间点与所述相机之间距离的点云模型；

基于所述相机的拍摄位置和拍摄角度调整所述点云模型的坐标系与所述预设码垛占用空间的坐标系一致；

基于所述预设码垛占用空间生成三维包围盒；

基于所述三维包围盒与所述点云模型的干涉情况判断所述预设码垛空间与所述实体占用空间是否产生干涉。

可选的实施方式，所述基于所述前景影像的深度图生成关于空间点与所述相机之间距离的点云模型包括：

基于预设滤波方式处理所述点云模型，去除所述点云模型的噪声点和背景点。

可选的实施方式，所述若所述预设码垛空间与所述实体占用空间产生干涉，基于所述实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置，包括：

若所述预设码垛空间与所述实体占用空间产生干涉，提取所述点云模型位于所述三维包围盒内的点，生成干涉点云模型；

基于法线信息在所述干涉点云模型中提取出若干个边缘分割面；

基于所述若干个边缘分割面在所述三维包围盒内的位置，得到调整码垛空间及调整码垛位置。

可选的实施方式，所述计算所述调整码垛位置与所述预设码垛位置之间的偏移量，判断所述偏移量是否在允许阈值范围内，包括：

所述偏移量包括对应于所述若干个分割面的若干个方向的单一偏移量；

若若干个所述单一偏移量中的任一个单一偏移量超过所对应的单一偏移阈值，则判定所述偏移量不在所述允许阈值范围内。

相应的，本发明提供了一种码垛控制系统，用于实现上述任一项所述的码垛控制方法。

本发明提供了一种码垛控制方法及系统，该码垛控制方法及系统避免码垛作业的过程中发生箱体碰撞、挤压等情况，能够很好的对货物进行保护；具体实施中可根据每一次作业的具体内容进行拍摄位置的调整，拍摄位置具有自适应的优势；基于预设码垛位置的干涉情况进行干涉判断，不需要预设置码放目标的模板，泛用性强；每次码垛作业仅针对码放位置的干涉情况，而不需要对全局的码垛情况进行检测，数据计算速度快。

附图说明

图1示出了本发明实施例的码垛控制方法流程示意图。

图2示出了本发明实施例的作业规划方法的流程图。

图3示出了本发明实施例的作业规划方法过程示意图。

图4示出了本发明实施例的码垛作业的对象示意图。

图5示出了本发明实施例的作业规划与实际情况的结构差异对比图。

图6示出了本发明实施例的第一影像获取的拍摄角度示意图。

图7示出了本发明实施例判断预设码垛空间与所述实体占用空间是否产生干涉的方法流程图。

图8示出了本发明实施例的点云模型结构示意图。

图9示出了本发明实施例的干涉点云模型的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的发明实施例仅仅是本发明一部分发明实施例，而不是全部的发明实施例。基于本发明中的发明实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它发明实施例，都属于本发明保护的范围。

图1示出了本发明实施例的码垛控制方法流程示意图。

具体的，本发明实施例提供了一种码垛控制方法，具体的，该码垛控制方法由若干次码垛作业组成，每一次码垛作业相对独立。

在一次码垛作业中，作业目的为将一个来料箱体放置在特定空间中的预设位置上；一般的，码垛作业一般通过机械手等设备实现，而对于机械手等设备的作业原理可知，机械手要完成码垛作业，其所需要的控制数据包括起点抓取位置、终点放置位置以及起点至终点的运动轨迹。本发明实施例所提供的码垛控制方法，主要用于根据实际码垛情况所引起的空间变化，动态调整每一次码垛作业中机械手等设备的控制数据，保证每一次码垛作业中机械手等设备的作业动作能够实现，从而保证了码垛作业的可持续运行，降低人工干预的频率，提高码垛作业效率。

具体的，每一次码垛作业包括以下步骤：

S101：获取码垛作业的作业规划，所述作业规划包括预设码垛位置和预设码垛占用空间；

一般的，码垛系统主要由两部分组成，分别为控制系统和执行系统，其中控制系统负责软件处理过程，执行系统负责实体执行过程。具体的，执行系统通常为机械臂或机器人，执行系统通过接收控制系统所发送的控制指令（主要为工作末端的移动终点坐标、工作末端的动作等）执行相应的操作；具体的，一套控制系统可用于控制多套执行系统协同运行；本发明实施例可根据上述说明进行理解，但具体实施中，基于硬件设置的不同，具体的软件处理过程和实体执行过程可在各种设备上实现，本发明实施例不额外进行限制和说明。

具体的，在执行码垛作业前，需要对每一次的码垛作业进行规划，得到一个完整的作业规划。

图2示出了本发明实施例的作业规划方法的流程图，图3示出了本发明实施例的作业规划方法过程示意图。具体的，作业规划基于以下方式得到：

S201：接收来料数据；

具体的，来料数据为该次作业规划中需要的所有来料箱体1的来料数据，所述来料数据包括每一个来料箱体1的尺寸信息；具体的，来料箱体1一般为矩体，来料数据主要包括来料箱体的三轴尺寸。

S202：基于所述来料数据计算得到最优垛型；

具体的，一般来说，控制系统会预设一个制定大小的空间区域作为限制区域2，然后在限制区域2中，根据每一个来料箱体1的尺寸信息优化算出最优的垛型（一般为占用空间最小的垛型，附图图3中示出了本发明实施例的最优垛型参考结构），所述最优垛型包括每一个所述来料箱体1的预设码垛位置和预设码垛占用空间；具体的，对于控制系统而言，来料箱体1的空间模型包括标记点和空间信息，具体的，标记点用于在空间中标识模型位置，空间信息则用于在标记点的基础上展开得到模型的具体形状。

在本发明实施例中，图中所示意的来料箱体1均设置为相同形状，实际操作中，来料箱体可能存在大小不一的情况，由于本发明实施例的发明点不在于最优垛型的构建，因此，有关最优垛型的构建的相关内容可参照现有技术。

相应的，在最优垛型中，每一个所述来料箱体都具有一组预设码垛位置和预设码垛占用空间数据，预设码垛位置是指来料箱体在空间中的位置（标记点的位置），预设码垛占用空间数据则是指来料箱体在空间中的占用（在标记点的基础上）。

S203：基于所述最优垛型逆推得出每一个所述来料箱体的码垛顺序。

得到最优垛型之后，则可以得到关于所有来料箱体1的预设码垛位置，具体的，针对如集装箱这种具有单边进出空间的实际操作环境，在所述最优垛型的基础上，根据相应的叠放逻辑（例如先叠放最底层、先叠放最里层等），确定每一个来料箱体的叠放顺序，通过该叠放顺序与对应的预设码垛位置、预设码垛占用空间的结合，可得到每一次码垛作业的初始作业参数。

S204：基于所述码垛顺序安排每一个所述来料箱体在上料流水线的上料顺序；

具体的，为了便于执行系统操作，通常会将来料箱体1安排在上料流水线上进行上料，以供执行机构进行来料箱体的抓取；将来料箱体1安排在上料流水线上进行上料的优势在于，通过控制上料流水线的启停或者在上料流水线上设置相应的定位机构，可相对简单并准确的得到来料箱体1的初始位置信息，从而更为便捷的在所述上料流水线抓取对应的来料箱体。

通过上述作业规划的设计，可得到每一次码垛作业的基本初始数据，本发明实施例所需要用到的数据为每一次码垛作业的预设码垛位置和预设码垛空间，有关码垛对象（来料箱体）的初始位置，一般为相对固定的，可预先输入至控制系统中，由于本发明实施例的发明点不在于对码垛对象（来料箱体）的初始位置的确认，因此，有关码垛对象（来料箱体）初始位置的确认方式可参照现有技术。

参照附图图4所示出的本发明实施例的码垛作业的对象示意图。具体的，本发明实施例的码垛作业的码垛对象为附图图3中标记1所指向的来料箱体1，需要将来料箱体1码至箭头所指的位置上（结合图3进行参考）。

图5示出了本发明实施例的作业规划与实际情况的结构差异对比图。具体的，作业规划中，该次码垛作业的预估结构如附图图5中的作业规划标记的视图所示，已码垛来料箱体一4和已码垛来料箱体二5的码垛位置整齐（与附图图3所示的作业规划得出的最优垛型一致）；但在具体实施中，由于各种因素的干扰和影响，可能会导致已码垛来料箱体一4沿y负向移动、来料箱体二5沿x正向移动，从而形成如附图图5中的实际情况标记的视图的码垛结构（来料箱体一4和来料箱体二5的码垛作业参照本发明实施例进行理解），由此可见，在实际码垛作业中，实体空间中的码垛空间与理论计算得到的码垛空间是不一致的，如果仍按照理论计算的码垛空间进行作业，则来料箱体之间会可能产生碰撞，影响码垛作业的重复进行。本发明实施例主要针对实体空间中的码垛空间与理论计算得到的码垛空间发生干涉时的码垛作业进行说明。

S102：基于所述预设码垛位置确认相机的拍摄位置和拍摄角度，驱动所述相机移动至所述拍摄位置并调节所述相机至所述拍摄角度；

具体的，针对于当前的码垛作业，已知码垛作业的预设码垛位置和预设码垛空间。相应的，由于本发明实施例要基于图像处理方式进行后续的步骤，因此，在该步骤中，需要通过相机对将要码垛的实体区域空间进行图像获取。

具体的，由于将要码垛的实体区域空间在每一次码垛作业中都是变化的，为了更精确的获取到将要码垛的实体区域空间的图像，需要在每一次码垛作用针对将要码垛的实体区域空间进行相机的调整，以保证相机在最合理的焦距环境下拍摄，同时，使相机对将要码垛的实体区域空间的拍摄角度较为理想。

由于本发明实施例的后期处理中涉及关于特定区域的三轴空间的三个平面以及相应的深度信息的处理，为了便于数据处理和优化数据的处理结果，可选的，若所述预设码垛占用空间的表面具有若干个平面（即码垛对应具有若干个平面），所述拍摄角度与所述若干个平面中的任一个平面不垂直，通过该设置方式，可保证能够在一幅影像中，尽可能均匀的获取到特定区域的三轴空间的三个平面的影像以及对应的深度信息。

图6示出了本发明实施例的第一影像获取的拍摄角度示意图。具体的，针对本发明实施例的具体实施情况，可选的，可选择如图6所示的视图方向作为拍摄角度，该角度与来料箱体的各个平面（即预设码垛占用空间的表面的平面）不垂直，在该角度获取的第一影像，各个面在第一影像中的占比面积较为平衡，从而保证了各个平面的深度信息也比较均衡，有利于进行后续的处理。

S103:基于所述相机获取第一影像，所述第一影像为对应于所述预设码垛占用空间的图像；

具体的拍摄区域可根据相机的分辨率和焦距确认，在本发明实施例中，需确保最少能获取到圆形区域的清晰图像。具体的，本发明实施例以圆形区域作为第一影像7（理论上相机拍摄的影像为圆形，实际所截取的影像为矩形，请根据具体实施情况进行理解）。最基本的，第一影像7应完全包括预设码垛占用空间且能够包括码垛占用空间附近的一些空间的图案，从而保证了在码垛占用空间与实体占用空间产生干涉时，能够有效的获取到相应位置的影像信息。

需要额外说明的是，本发明实施例的附图采用电子模型进行示意，实际操作用由于实际环境的差异性，关于第一影像的处理方式有多种，本发明仅针对基本的处理方式进行说明，额外的图像处理方式（有关于提高影像质量、提高影像清晰度等）本发明实施例不逐一进行说明。

S104：基于所述第一影像获取实体占用空间并判断所述预设码垛空间与所述实体占用空间是否产生干涉；

若实体占用空间与预设码垛空间没产生干涉，控制系统可按照预设的预设码垛位置对来料箱体进行码垛作业；若实体占用空间与预设码垛空间产生干涉，即在前码垛的来料箱体的码垛位置产生了偏移并对该次码垛作业的预设码垛空间产生了占用，导致了码垛作业无法按照控制系统预设的坐标进行作业，则需要进行合理的位置调整以保证码垛作业的正常运行。

具体的，图7示出了本发明实施例判断预设码垛空间与所述实体占用空间是否产生干涉的方法流程图，具体的，本发明实施例提供了一种判断预设码垛空间与所述实体占用空间是否产生干涉的方法包括：

S301：所述第一影像为深度影像，所述深度影像包括彩色图和深度图；

具体的，在相机获取第一影像的过程中，通过采用特种相机获取的第一影像包括彩色图和深度图，具体的，彩色图为常见的影像图片，深度图则为每一个像素点至相机的距离信息的集合。

S302:基于所述彩色图提取所述第一影像的前景影像，所述前景影像为包括实体占用空间的影像；

具体的，参照附图图6所示，对于第一影像的彩色图而言，本发明实施例所述的前景影像是指已堆垛的来料箱体影像，后景影像则主要为限制区域2的背景影像6（如集装箱的内壁、室内环境的墙壁等），来料箱体具有较为相近似的外观（如都采用纸皮作为外包装），颜色接近，通过前景提取，可很好的提取出关于来料箱体的影像。具体的前景影像提取方法可参照现有技术，本发明实施例不逐一进行说明。

S303：基于所述前景影像的深度图生成关于空间点与所述相机之间距离的点云模型；

通过第一影像的前景影像的提取后，理想情况下，前景影像中只保留了有关已堆垛的来料箱体的彩色图和相对应像素点的深度信息；具体的，利用所述相对应像素点的深度信息（即前景影像的深度图）可生成关于空间点与所述相机之间距离的点云模型。

图8示出了本发明实施例的点云模型结构示意图，其中，点云模型8是由一系列的点组成的三维模型，每一个点具有自身独立的空间坐标；在附图图7中，由于平面视图不能很好的示意点云模型8，因此在附图图8中保留了第一影像中的一些平面轮廓线（平面轮廓线是指附图图7中的虚线所示线条，实际上在点云模型中并不存在），同时做出了空间坐标系以表明该视图为三维模型。

需要说明的是，针对实际实施情况，点云模型8一般还需要经过滤波处理，以过滤掉一些噪声点和前景图像中未滤除的背景点，可选的，可基于半径滤波方式处理所述点云模型，去除所述点云模型8的噪声点和背景点。

S304：基于所述相机的拍摄位置和拍摄角度调整所述点云模型的坐标系与所述预设码垛占用空间的坐标系一致；

具体的，点云模型8是基于每一个像素点与相机之间的距离信息（即深度图）得到的，在构建点云模型8的过程中，是以相机当前位置作为基准点建立的，因此，点云模型8的初始坐标系是与相机的当前位置以及当前姿态所确认的；为了使点云模型8能够与控制计算算出的预设码垛占用空间进行干涉判断，则应该统一点云模型8和预设码垛占用空间的坐标系，使点云模型8和预设码垛占用空间能够在统一坐标系中进行对比。

具体的，关于两个不同的坐标系空间统一坐标系的方法可参照现有技术实现，通过坐标系的统一后，实体空间的坐标系与理论空间的坐标系统一，从而保证了点云模型8中的每一个点在控制系统的理论空间中具有一个准确的位置。

S305：基于所述预设码垛占用空间生成三维包围盒；

具体的，在控制系统的理论空间中，理论空间中已有点云模型8，针对该次码垛作业的来料箱体的预设码垛占用空间，构建一个三维包围盒；具体的，所述三维包围盒可理解为空间中的一个实体模型。

S306：基于所述三维包围盒与所述点云模型的干涉情况判断所述预设码垛空间与所述实体占用空间是否产生干涉。

三维包围盒与点云模型的相交情况即为判断所述预设码垛空间与所述实体占用空间是否产生干涉的依据。

具体实施中，判断三维包围盒与点云模型在控制系统的软件处理中相当于一个求交集的操作，若三维包围盒的占用空间内存在点云模型的点，则表示三维包围盒与点云模型存在干涉；反之，则表示三维包围盒与点云模型不存在干涉。

需要说明的是，因为在附图图8的基础上如果增加三维包围盒的示意，则附图较为复杂，因此有关三维包围盒的概念请参照附图图9所示。

S105：若所述预设码垛空间与所述实体占用空间产生干涉，基于所述实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置；

图9示出了本发明实施例的干涉点云模型的结构示意图。

若所述预设码垛空间与所述实体占用空间产生干涉，提取所述点云模型位于所述三维包围盒10内的点，生成干涉点云模型11； 具体的，在附图图9中的点云即为干涉点云模型11。需要说明的是，具体实施中所提取的点云模型和干涉点云模型没有附图图9所示的规整，因此，点云模型和干涉点云模型的最外围的表面并非平面，而是一系列相对于平面而言高度不一的点集合；因此，为了从干涉点云模型重构出平面信息，需要对干涉点云模型进行处理。

具体的，本发明实施例所采用的方式为：基于法线信息在所述干涉点云模型中提取出若干个边缘分割面。具体的，针对本发明实施例的码垛情况（码垛的顺序），该次码垛作业中的能够产生（有可能产生）干涉的方向为y正向、z负向和x负向，因此，需要在干涉点云模型针对于该三个方向提取出干涉点云模型的边缘平面，从而求解预设码垛空间需要偏移的方向与距离。

具体的，本发明实施例提取干涉点云模型的边缘平面的方法基于法线信息确定。具体的，在干涉点云模型中，针对于来料箱体的结构，不同平面之间的法线信息具有较大的差异性，同一平面内的法线信息具有相似性，具体的，法线信息一般为一矢量信息（向量角度信息），用于标记法线的方向。

具体的，每一根法线的得出过程为：在所述干涉点云模型的中选取一个目标点p，基于移动最小二乘法（Moving Least Squares, MLS）对所述目标点p进行法线估计；具体的，移动最小二乘法的运算原理是在针对所述目标点p的k个临近点定义为所述目标点p的影响区域，基于最小二乘法在所述影响区域中拟合出一个平面模型，该平面模型的法线即为所述目标点p的法线。

通过上述方式，将位于干涉区域边缘的法线信息相近的点的集合视为位于同一平面内的点，然后以一平面拟合上述点的集合得到一个边缘分割面，依次提取，直至得到所需的若干个边缘分割面；具体的，边缘分割面的数量由具体的干涉情况确认。具体的，由于本发明实施例只有两个方向产生干涉，因此所提取的边缘分割面数量为两个。具体实施中，通过法线信息，根据所得出的法线的相似集合数量，可判断产生干涉的边缘分割面的数量。

然后，基于所述若干个边缘分割面在所述三维包围盒内的位置，得到调整码垛空间及调整码垛位置。具体的，不同的边缘分割面所标识的是干涉点云模型的边缘平面数据，相对应的，预设码垛空间相对应的表面平面需要移动至对应的边缘平面上，才能不与点云模型产生干涉；因此，本发明实施例提供了一种关于调整码垛空间及调整码垛位置求解的方式，具体的，分别针对于不同的边缘分割面，三维包围盒通过相应方向的平移，每一次平移解决三维包围盒与点云模型一个方向上的干涉，直至三维包围盒不再与点云模型产生干涉，得到调整码垛空间。具体的，每一次平移的距离由边缘分割面与该方向上所对应的三维包围盒的平面之间的距离；最终，通过三维包围盒的若干个平移运动数据的叠加，得到从预设码垛空间至调整码垛空间的矢量偏移数据；具体的，只要保证所述调整码垛位置在所述调整码垛空间中的相对位置与所述预设码垛位置在所述预设码垛空间中的相对位置一致，那么，预设码垛空间至调整码垛空间的矢量偏移数据即为预设码垛位置与调整码垛位置的偏移数据。

S106：计算所述调整码垛位置与所述预设码垛位置之间的偏移量，判断所述偏移量是否在允许阈值范围内；

具体的，若存在偏移数据过大的情况，来料箱体在码垛后可能会出现掉落、悬空等不安全的状态，因此，为了保证码垛作业的安全性和可靠性，需要计算所述调整码垛位置与所述预设码垛位置之间的偏移量，并判断所述偏移量是否在允许阈值范围内。具体的，在本发明实施例中，可通过下述方式判断：

所述偏移量包括对应于所述若干个分割面的若干个方向的单一偏移量；

若若干个所述单一偏移量中的任一个单一偏移量超过所对应的单一偏移阈值，则判定所述偏移量不在所述允许阈值范围内。

该判断所述偏移量是否在允许阈值范围内的方式的优势在于，来料箱体在不同方向上的可允许移动的距离是不一样的，通过每个方向进行限定的方式，可以更为精准的控制报警，以减少码垛作业中断的几率。

S107：若所述偏移量在所述允许阈值范围内，基于所述调整码垛位置，通过第一机器人执行码垛动作。

具体的，若所述偏移量在所述允许阈值范围内，基于所述调整码垛位置，通过第一机器人执行码垛动作；具体的，第一机器人如果在接收到预设码垛位置（坐标）后，是执行相应的操作，那么，同样的，通过将调整码垛位置（坐标）替换掉预设码垛位置（坐标）后，那么，第一机器人会根据新的调整码垛位置（坐标）执行相应的操作；具体的，调整码垛位置（坐标）只影响第一机器人的运动终点的坐标，不会对其余作业内容造成影响。

若所述偏移量不在所述允许阈值范围内，则需要发出警告并暂停动作，以供工作人员对现有堆垛的来料箱体进行调整，以避免产生安全事故。

此外，本发明实施例还提供了一种码垛控制系统，用于实现上述任一项所述的码垛控制系统。

综上，本发明实施例提供了一种码垛控制方法及系统，具有以下优势：

自适应的拍照位置：传统码垛工作的拍照点位都是提前设定好位置或固定位置，灵活性差，本发明实施例所提供一种码垛控制方法及系统，相机根据每一次码垛作业的具体内容进行调整，灵活性更佳；

泛用性强：现有的码垛机器人视觉系统大多使用特征匹配或模板匹配的方式进行对象识别，这类方法面向已知的目标，需要提前对待码放目标设计特征或制作模板，每当增加了一种新的对象，就要重新设计一套特征或模板，限制了系统的泛用性；本发明实施例所提供一种码垛控制方法及系统，关注的是码放位置的有效性，关注的是周边箱体是否与当前码放的箱体是否存在有空间上的干涉，如有干涉，则计算并发送新的合理坐标，使得码垛工作能正确运行。这种算法可以适用于未知大小、未知样式的箱体的码放工作，具有很强的泛用性；

检测速度快：由于本发明实施例所提供一种码垛控制方法及系统的核心思想只关注码放位置与周边来料箱体的干涉，不必对全局的码垛情况进行检测，在数据计算量上具有很大优势，使得检测速度有很大提升，单次检测时间能控制在220ms以内，相较于传统的视觉识别方法具有很大的效率优势。

以上对本发明实施例所提供的一种码垛控制方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上发明实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种码垛控制方法，其特征在于，包括若干次码垛作业，所述若干次码垛作业中的任一次码垛作业包括：

获取码垛作业的作业规划，所述作业规划包括预设码垛位置和预设码垛占用空间；

基于所述预设码垛位置确认相机的拍摄位置和拍摄角度，驱动所述相机移动至所述拍摄位置并调节所述相机至所述拍摄角度；

基于所述相机获取第一影像，所述第一影像为对应于所述预设码垛占用空间的图像；

基于所述第一影像获取实体占用空间并判断所述预设码垛占用空间与所述实体占用空间是否产生干涉；

若所述预设码垛占用空间与所述实体占用空间产生干涉，基于所述实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置；

所述调整码垛位置在所述调整码垛空间中的相对位置与所述预设码垛位置在所述预设码垛占用空间中的相对位置一致；

计算所述调整码垛位置与所述预设码垛位置之间的偏移量，判断所述偏移量是否在允许阈值范围内；

若所述偏移量在所述允许阈值范围内，基于所述调整码垛位置，通过第一机器人执行码垛动作。

2.如权利要求1所述的码垛控制方法，其特征在于，所述作业规划基于作业规划方法生成，所述作业规划方法包括：

接收来料数据，所述来料数据包括每一个来料箱体的尺寸信息；

基于所述来料数据计算得到最优垛型，所述最优垛型包括每一个所述来料箱体的预设码垛位置和预设码垛占用空间；

基于所述最优垛型逆推得出每一个所述来料箱体的码垛顺序。

3.如权利要求2所述的码垛控制方法，其特征在于，基于所述码垛顺序安排每一个所述来料箱体在上料流水线的上料顺序；

所述码垛动作包括从所述上料流水线抓取对应的来料箱体。

4.如权利要求1所述的码垛控制方法，其特征在于，若所述预设码垛占用空间的表面具有若干个平面，所述拍摄角度与所述若干个平面中的任一个平面不垂直。

5.如权利要求1至4任一项所述的码垛控制方法，其特征在于，所述码垛作业的码垛对象为矩体结构，所述码垛对象具有六个表平面，所述六个表平面分别属于三组相对面。

6.如权利要求5所述的码垛控制方法，其特征在于，所述基于所述第一影像获取实体占用空间并判断所述预设码垛占用空间与所述实体占用空间是否产生干涉包括：

所述第一影像为基于相机采集的深度影像，所述深度影像包括彩色图和深度图；

基于所述彩色图提取所述第一影像的前景影像，所述前景影像为包括实体占用空间的影像；

基于所述前景影像的深度图生成关于空间点与所述相机之间距离的点云模型；

基于所述相机的拍摄位置和拍摄角度调整所述点云模型的坐标系与所述预设码垛占用空间的坐标系一致；

基于所述预设码垛占用空间生成三维包围盒；

基于所述三维包围盒与所述点云模型的干涉情况判断所述预设码垛占用空间与所述实体占用空间是否产生干涉。

7.如权利要求6所述的码垛控制方法，其特征在于，所述基于所述前景影像的深度图生成关于空间点与所述相机之间距离的点云模型包括：

基于预设滤波方式处理所述点云模型，去除所述点云模型的噪声点和背景点。

8.如权利要求6所述的码垛控制方法，其特征在于，所述若所述预设码垛占用空间与所述实体占用空间产生干涉，基于所述实体占用空间重新规划码垛作业，得到调整码垛空间及调整码垛位置，包括：

若所述预设码垛占用空间与所述实体占用空间产生干涉，提取所述点云模型位于所述三维包围盒内的点，生成干涉点云模型；

基于法线信息在所述干涉点云模型中提取出若干个边缘分割面；

基于所述若干个边缘分割面在所述三维包围盒内的位置，得到调整码垛空间及调整码垛位置。

9.如权利要求8所述的码垛控制方法，其特征在于，所述计算所述调整码垛位置与所述预设码垛位置之间的偏移量，判断所述偏移量是否在允许阈值范围内，包括：

所述偏移量包括对应于所述若干个边缘分割面的若干个方向的单一偏移量；

若若干个所述单一偏移量中的任一个单一偏移量超过所对应的单一偏移阈值，则判定所述偏移量不在所述允许阈值范围内。

10.一种码垛控制系统，其特征在于，用于实现权利要求1至9任一项所述的码垛控制方法。

Images