CN109213202B - 基于光学伺服的货物摆放方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质，应用于机器人技术领域，其中基于光学伺服的货物摆放方法，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。

Description

基于光学伺服的货物摆放方法、装置、设备和存储介质

技术领域

本发明属于机器人技术领域，尤其涉及一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质。

背景技术

科技的快速发展，给人们的生活带来翻天覆地的变化，同时也提升了企业的工作效率。而电子商务的蓬勃发展，对国内仓储物流同样提出了前所未有的提速需求。智能机器人在货物的装载、卸载、搬运领域应运而生。在货物的装卸过程中，如何保持装卸货物的稳定性和码货效率成为一个重要技术问题。

现有技术中，通常机器人利用机械臂末端的视觉传感器来确定货物的摆放位置，但是一方面视觉传感器若仅跟随机械臂抓取放置任务而动，则会导致视觉传感器获取的有效数据有限甚至不足，从而导致计算出的摆放位置不够准确，甚至发生碰撞、无法执行等失败状况。另一方面，为了获取货舱内的更全面的视觉传感数据，每一次码放货物时机器人都需要控制机械臂多次运动，以使视觉传感器获取所需的有效数据，花费时间较长，效率较低。

发明内容

本发明提供一种基于光学伺服的货物摆放方法、装置、电子设备和存储介质，旨在解决现有的基于机器人的货物摆放技术，无法准确判断待摆放货物的摆放位置及货物码放效率较低的问题。

本发明实施例第一方面提供了一种基于光学伺服的货物摆放方法，该方法包括：获取待摆放货物的三维点云信息；分析所述三维点云信息，得到所述待摆放货物的边缘直线；控制激光网格投影仪向货物摆放平面投射一条激光亮线；控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制机器人将所述待摆放货物放置在所述货物摆放平面。

进一步的，所述获取待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线包括：将多个三维点云拼合成所述待摆放货物的拼合点云，其中拼合点云包含所述待摆放货物完整的长宽高信息；根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面；获取其中相邻两个平面的一条相交线，其中相交线为所述待摆放货物的边缘直线。

进一步的，在所述根据拼合点云拟合出多个矩形区域之后还包括：获得每一矩形区域的法线；将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；根据所述参考平面和相关平面拟合出所述待摆放货物区域。

进一步的，所述将达到预设条件的一矩形区域作为参考平面包括：获得每一矩形区域的角点信息；根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面。

进一步的，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：旋转拼合点云，将参考平面的相交两边分别设为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；所述根据所述参考平面和相关平面拟合出所述待摆放货物区域包括：将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到所述待摆放货物区域应有的方位；融合所述参考平面和相关平面的位置，拟合出所述待摆放货物的长方体区域。

进一步的，所述控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合，包括：分析所述待摆放货物的长方体区域，得到所述待摆放货物的获持位置以及获持姿态；根据所述获持位置和所述获持姿态，控制所述机器人获持所述待摆放货物；调整所述机器人的获持角度，使得所述待摆放货物的边缘直线与所述激光亮线平行；控制所述机器人平移到所述货物摆放平面的激光亮线上方。

本发明实施例第二方面提供了一种基于光学伺服的货物摆放装置，包括：多个视觉机构，多个视觉机构设于货物摆放平面的正上方，用于360度全方位的获取待摆放货物的图像数据，其中图像数据用于提取待摆放货物的三维点云信息；激光网格投影仪，所述激光网格投影仪设于多个视觉机构的中间，用于向货物摆放平面投射条激光亮线；分析模块，用于分析所述待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线；确定模块，用于根据激光亮线的位置，确定待摆放货物的摆放位置；追踪模块，用于控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；控制模块，用于控制机器人将所述待摆放货物放置在所述摆放位置。

进一步的，所述分析模块还用于将多个三维点云拼合成所述待摆放货物的拼合点云，根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面，获取其中相邻两个平面的一条相交线，得到的相交线为所述待摆放货物的边缘直线。

本发明实施例第三方面提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的程序指令，所述程序指令被所述至少一个处理器执行，实现上述基于光学伺服的货物摆放方法。

本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述基于光学伺服的货物摆放方法。

本发明提供的基于光学伺服的货物摆放方法、装置、系统以及电子设备和可读存储介质，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明实施例提供的基于光学伺服的货物摆放方法的应用环境示意图；

图2是本发明第一实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；

图3是本发明第二实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；

图4是本发明第三实施例提供的基于光学伺服的货物摆放方法的实现流程示意图；

图5是本发明第三实施例提供的根据拼合点云拟合出待货物摆放的形状示意图；

图6是本发明第四实施例提供的基于光学伺服的货物摆放装置的结构示意图；

图7是本发明第四实施例提供的基于光学伺服的货物摆放装置中的控制模块的结构示意图；

图8是本发明第五实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本发明方案，以下结合一具体应用场景加以阐述，但并不用于限定本发明的保护范围。请参阅图1，图1为本发明实施例提供的基于光学伺服的货物摆放方法的应用环境示意图。如图1所示，该示例中，机器人10通过有线或无线的方式，与服务器80进行数据交互，根据服务器80发送的指令，前往货舱30执行卸货或装货操作。例如：将货物60从货舱30之外的地方装载至货舱30的摆放空间40。其中，机器人10可以是单独的一个机器人，也可以是由多个机器人组成的机器人集群。该机器人包括处理器、机械手臂以及设置在机械手臂末端的末端执行器，还可以包括移动底盘、各类传感器等。

请参阅图2，图2为本发明第一实施例提供的基于光学伺服的货物摆放方法的实现流程示意图。如图2所示，该基于光学伺服的货物摆放方法主要包括以下步骤：

S201、获取待摆放货物的三维点云信息；

三维点云信息是通过多个视觉机构得到，多个视觉机构设于货物摆放平面的正上方，用于360度全方位的获取待摆放货物的图像数据，其中图像数据用于提取待摆放货物的三维点云信息。

在实际应用中，多个视觉机构是通过磁铁磁性附着在货物摆放平面的天花板上，实时将感测到的待摆放货物的图像数据传输给机器人或服务器。

在其中的一个实施例中，所述货物摆放平面上设有一固定装置，所述视觉机构设于所述固定装置上，所述视觉机构可以根据机器人的运动，在所述固定装置上滑动，使得所述视觉机构能够实时地360度全方位拍摄所述待摆放货物的图像。

S202、分析所述三维点云信息，得到所述待摆放货物的边缘直线；

通过视觉机构获取所述待摆放货物的图像数据，从图像数据中提取所述三维点云信息，再分析所述三维点云信息。本实施例中视觉机构为深度摄像头，多个深度摄像头360度全方位地对所述待摆放货物进行拍照或者录像，从而获得所述待摆放货物的多个三维点云信息。其中，深度摄像头可以获得三维视觉，相对传统摄像头只能获得二维视觉，则多了一个维度，可以实现更加正确的物体分割，合适精度的三维测量，三维数据的模型重建以及智能视觉识别和分析。深度摄像头的实现方案有多种，例如下述方案：一是单目结构光，代表公司有苹果、微软Kinect-1、英特尔RealSense、Google Project Tango等。二是双目可见光，代表公司LeapMotion。三是飞行时间法(TOF)，代表公司微软Kinect-2。通过多个深度摄像头从不同角度拍照，从而可以获得所述待摆放货物在不同角度时的三维点云。

在本实施例中，在获得所述待摆放货物的多个三维点云之后，再将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云。其中，三维点云的拼合方案可以有多种。例如，固定深度摄像头的位置和拍摄角度，然后人工将每一深度摄像头的坐标系调整至对应预设坐标系，记录各个深度摄像头调整所对应的调整值，则后续拍照时按照该调整值自动修正即可。而多个深度摄像头的三维点云都具有相同坐标系时，则可以拼合三维点云。又例如，在拍摄场景中包括背景特别识别点，而这些背景特别识别点为固定点。当深度摄像头拍摄的三维点云中包括了这些背景特别识别点，然后通过系统自动移动或旋转，而将这些背景特别识别点进行重叠，则可以拼合三维点云。由于所述待摆放货物在摆放的过程中不断的移动。因此，若一个所述待摆放货物(矩形所述待摆放货物)刚好一个面正对一个深度摄像头，在该深度摄像头仅仅能够获得该所述待摆放货物的两个面的全部或部分三维点云，例如：正面全部和顶面一部分。此时在其他角度拍摄的深度摄像头则可以至少捕捉到该所述待摆放货物两个面的全部或部分三维点云，例如：背面全部和顶面另一部分。因此，多个深度摄像头至少可以拍摄到所述待摆放货物的三个面的完整的三维点云，从而具有了拟合所述待摆放货物的充分条件。而该充分条件则可以称为“具有目标完整长宽高信息的拼合点云”。

在本实施例中，在将多个三维点云进行拼合，而获得具有目标完整长宽高信息的拼合点云之后，再根据拼合点云拟合出多个矩形区域，并且通过平面提取方法提取出多个平面，获取其中相邻两个平面的一条相交线，其中相交线为所述待摆放货物的边缘直线。其中，通过拼合点云拟合出多个矩形区域，可以将点云进行分隔，而将属于同一平面的点云进行集合，再根据该点云集合的边缘来拟合出矩形区域。由于本实施例中的所述待摆放货物为矩形体状，因此仅仅需要拟合为矩形区域即可。

S203、控制激光网格投影仪向货物摆放平面投射一条激光亮线；

所述激光网格投影仪设于货物摆放平面上方且所述激光网格投影仪设于多个视觉机构的中间，用于向货物摆放平面投射条激光亮线。所述激光网格投影通过有线或无线的方式，与服务器进行数据交互，根据服务器发送的指令，向所述待摆放货物的即将在货物摆放平面的放置位置上投射激光亮线，所述激光亮线用于做为机器人运动的参照物。

S204、控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；

在本实施例中，机器人接收服务器的指令，控制机械手臂移动到所述待摆放货物的位置上，通过末端执行器抓取所述待摆放货物，所述末端执行器为机器灵巧手。在其它实施例中，所述末端执行器可为吸盘吸取所述待摆放货物。机器人在获持所述待摆放货物后，接收服务器再次发来的指令，控制机械手臂向前平移不断地靠近激光亮线的方向，使得机械手臂与所述激光亮线之间的距离越来越短，直到所述待摆放货物的边缘直线与激光亮线重合。判断所述待摆放货物的边缘直线与激光亮线是否重合，通过视觉机构拍摄图像数据，通过对图像进行分析确定所述待摆放货物的边缘直线与激光亮线是否重合，然后将结果发送给服务器。

S205、控制机器人将所述待摆放货物放置在所述货物摆放平面。

在本实施例中，所述待摆放货物的边缘直线与激光亮线重合后，机器人接收到服务器的指令，控制机械臂将所述待摆放货物的边缘直线沿着激光亮线的方向向下移动，直到所述待摆放货物放置在所述货物摆放平面上。

本实施例，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。

请参阅图3，图3为本发明第二实施例提供的基于光学伺服的货物摆放方法的实现流程示意图。如图3所示，基于第一实施例基础之上，在根据拼合点云拟合出多个矩形区域之后增加以下步骤：

S301、获得每一矩形区域的法线；

S302、将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；

S303、根据所述参考平面和相关平面拟合出所述待摆放货物区域。

本实施例中，对该矩形区域做中垂线即可获得通过该矩形区域的法线。根据拼合点云拟合出多个矩形区域，这些矩形区域包括所述待摆放货物的面，也包括其他背景中杂物的面。因此，在后续步骤中还需要识别出属于所述待摆放货物的面。

在本实施例中，在拟合出多个矩形区域之后，再将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面。其中，预设条件可以是矩形区域的面积达到多少，以及形成矩形区域的点云的密度达到多少，以及是否位于图像的预设位置等等。通过预设条件的筛选，则可以获得属于所述待摆放货物的一个矩形区域，标记为参考平面。相应的，由于本实施例中的所述待摆放货物为矩形体状，因此其他的矩形区域应当与该矩形区域具有法线垂直的属性。因此，再查找法线与该矩形区域的法线相垂直的其他矩形区域，而这些区域则为属于所述待摆放货物的其他矩形区域。这些区域标记为相关平面。

在本实施例中，在找到参考平面和相关平面之后，再根据所述参考平面和相关平面拟合出箱体区域。其中，若参考平面和相关平面包括三个面，则根据这三个面的边缘信息，则可以估计获得另外三个面，从而完成拟合所述待摆放货物的长方体区域，如图5所示。若参考平面和相关平面包括四个面，则可以根据四个面的边缘信息估计获得另外两个面，从而完成拟合所述待摆放货物的长方体区域，等等。

本实施例所提供的所述待摆放货物的长方体拟合方法，通过采用深度摄像头，从而可以获得所述待摆放货物的三维点云。再通过三维点云进行提取平面以及拟合矩形区域，然后通过识别属于所述待摆放货物的矩形区域，最后所识别的这些矩形区域拟合出所述待摆放货物的长方体区域，具有拟合精度高，能够精确获得所述待摆放货物的空间坐标信息，进而大幅提高了识别所述待摆放货物形状的准确度，提高机器人获持物体的成功率，为将所述待摆放货物移到摆放平面提供了准确的前置条件。

请参阅图4，图4为本发明第三实施例提供的基于光学伺服的货物摆放方法的实现流程示意图。如图4所示，基于第二实施例基础之上，在将达到预设条件的一矩形区域作为参考平面之后增加以下步骤：

S401、获得每一矩形区域的角点信息；

S402、根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面；

S403、旋转拼合点云，将参考平面的相交两边分别设为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；

S404、将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到所述待摆放货物区域应有的方位；

S405、融合所述参考平面和相关平面的位置，拟合出所述待摆放货物的长方体区域。

进一步，分析所述待摆放货物的长方体区域，得到所述待摆放货物的获持位置以及获持姿态；根据所述获持位置和所述获持姿态，控制所述机器人获持所述待摆放货物；调整所述机器人的获持角度，使得所述待摆放货物的边缘直线与所述激光亮线平行；控制所述机器人平移到所述货物摆放平面的激光亮线上方。

本实施例所提供的所述待摆放货物的拟合方法，通过旋转拼合点云，从而使得参考平面和相关平面旋转至预设比对坐标系中，从而能够便于进行规则比对，能够快速准确的获得比对结果。从而达到拟合的速度快，准确度高的效果。

请参阅图6及图7，图6为本发明第四实施例提供的基于光学伺服的货物摆放装置的结构示意图。如图6及图7所示，该基于光学伺服的货物摆放装置主要包括：

多个视觉机构61，多个视觉机构61设于货物摆放平面的正上方，用于360度全方位的获取待摆放货物65的图像数据，其中图像数据用于提取待摆放货物65的三维点云信息；

激光网格投影仪62，所述激光网格投影仪62设于多个视觉机构61的中间，用于向货物摆放平面投射条激光亮线63；

分析模块71，用于分析所述待摆放货物65的三维点云信息，得到所述待摆放货物65的边缘直线；

确定模块72，用于根据激光亮线63的位置，确定待摆放货物的摆放位置；

追踪模块73，用于控制机器人64获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物65的边缘直线与激光亮线重合；

控制模块74，用于控制机器人64将所述待摆放货物65放置在所述摆放位置。

进一步的，所述分析模块71还用于将多个三维点云拼合成所述待摆放货物的拼合点云，根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面，获取其中相邻两个平面的一条相交线，分析得到的相交线为所述待摆放货物的边缘直线。

本实施例中，通过多个视觉结构与激光网格投影仪相互配合的方式，直接控制机器人朝着激光亮线的方向平移，使得机器人摆放货物的速度提高，精确度增加，解决了要通过复杂的程序计算机器人的运动轨迹使得码放货物速度慢，效率低的问题。

本实施例未尽之细节，请参阅前述图2所示实施例的描述，此处不再赘述。

需要说明的是，以上图6、7示例的基于光学伺服的货物摆放装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将移动终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。

本发明实施例中，通过获取待摆放货物的三维点云信息，分析所述三维点云信息，得到所述待摆放货物的边缘直线，控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合时控制机器人将所述待摆放货物放置在所述货物摆放平面，不用预先规划机器人的运动轨迹，直接控制机器人平移到激光亮线处，节省时间，准确性更高，速度更快，从而可提高控制机器人摆放货物的效率及质量。

图8是本发明第五实施例提供的执行基于光学伺服的货物摆放方法的电子设备的硬件结构示意图。该电子设备例如可以是服务器、机器人、具有数据处理功能的感测装置或者其他计算机设备。如图8所示，该电子设备包括：

一个或多个处理器810以及存储器820，图8中以一个处理器810为例。

执行基于光学伺服的货物摆放方法的电子设备还可以包括：输入装置830和输出装置840。

处理器810、存储器820、输入装置830和输出装置840可以通过总线850或者其他方式连接，图8中以通过总线连接为例。

存储器820作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明各实施例中的基于光学伺服的货物摆放方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的基于光学伺服的货物摆放方法。

存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。

存储数据区可存储根据上述基于光学伺服的货物摆放装置的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至基于光学伺服的货物摆放装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置830可接收输入的数字或字符信息，以及产生与基于光学伺服的货物摆放装置的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。

一个或者多个模块存储在存储器820中，当被一个或者多个处理器810执行时，执行上述任意方法实施例中的基于光学伺服的货物摆放方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明第一和第二实施例所提供的方法。

上述各设备实现各自功能的过程具体可参考本发明第一至第四实施例中的相关内容此处不再赘述。

在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的基于光学伺服的货物摆放方法、装置、系统以及电子设备和可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于光学伺服的货物摆放方法，其特征在于，所述方法包括：

获取待摆放货物的三维点云信息；

分析所述三维点云信息，得到所述待摆放货物的边缘直线；

获取待摆放货物的三维点云信息，得到所述待摆放货物的边缘直线包括：

将多个三维点云拼合成所述待摆放货物的拼合点云，其中拼合点云包含所述待摆放货物完整的长宽高信息；

根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面；

获取其中相邻两个平面的一条相交线，其中相交线为所述待摆放货物的边缘直线；

控制激光网格投影仪向货物摆放平面投射一条激光亮线；

控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；

控制机器人将所述待摆放货物放置在所述货物摆放平面。

2.如权利要求1所述的基于光学伺服的货物摆放方法，其特征在于，在所述根据拼合点云拟合出多个矩形区域之后还包括：

获得每一矩形区域的法线；

将达到预设条件的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；

根据所述参考平面和相关平面拟合出所述待摆放货物区域。

3.如权利要求2所述的基于光学伺服的货物摆放方法，其特征在于，所述将达到预设条件的一矩形区域作为参考平面包括：

获得每一矩形区域的角点信息；

根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面。

4.如权利要求3所述的基于光学伺服的货物摆放方法，其特征在于，在所述根据角点信息获得密度最大且面积超过预设阈值的一矩形区域，并将该矩形区域作为参考平面之后还包括：

旋转拼合点云，将参考平面的相交两边分别设为预设比对坐标系的X轴和Y轴方向，参考平面的法线为Z轴方向；

所述根据所述参考平面和相关平面拟合出所述待摆放货物区域包括：将检测到的剩余平面中的所述相关平面保留，并且根据各个相关平面相对于参考平面的位置归入到所述待摆放货物区域应有的方位；

融合所述参考平面和相关平面的位置，拟合出所述待摆放货物的长方体区域。

5.如权利要求4所述的基于光学伺服的货物摆放方法，其特征在于，所述控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合，包括：

分析所述待摆放货物的长方体区域，得到所述待摆放货物的获持位置以及获持姿态；

根据所述获持位置和所述获持姿态，控制所述机器人获持所述待摆放货物；

调整所述机器人的获持角度，使得所述待摆放货物的边缘直线与所述激光亮线平行；

控制所述机器人平移到所述货物摆放平面的激光亮线上方。

6.一种基于光学伺服的货物摆放装置，其特征在于，所述装置包括：

多个视觉机构，多个视觉机构设于货物摆放平面的正上方，用于360度全方位的获取待摆放货物的图像数据，其中图像数据用于提取待摆放货物的三维点云信息；

激光网格投影仪，所述激光网格投影仪设于多个视觉机构的中间，用于向货物摆放平面投射条激光亮线；

分析模块，用于将多个三维点云拼合成所述待摆放货物的拼合点云，根据拼合点云拟合出多个矩形区域，通过平面提取方法提取出多个平面，获取其中相邻两个平面的一条相交线，得到的相交线为所述待摆放货物的边缘直线；

确定模块，用于根据激光亮线的位置，确定待摆放货物的摆放位置；

追踪模块，用于控制机器人获持所述待摆放货物向着激光亮线的方向移动，至所述待摆放货物的边缘直线与激光亮线重合；

控制模块，用于控制机器人将所述待摆放货物放置在所述摆放位置。

7.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述一个处理器执行的程序指令，所述程序指令被所述至少一个处理器执行，所述程序指令被所述处理器执行时实现如权利要求1至5中任意一项所述的基于光学伺服的货物摆放方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中的任一项所述的基于光学伺服的货物摆放方法。

Images