CN113878573A - 码垛机器人的控制方法及系统 - Google Patents

Abstract

本发明公开了一种码垛机器人的控制方法及系统。其中，该方法包括：获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置。本发明解决了相关技术中的码垛机器人在码垛时，需要根据码垛的产品形状，对码垛机器人的工作过程进行设定，在产品多样的情况下，需要频繁对码垛机器人进行人工设定，导致码垛效率低下的技术问题。

Description

码垛机器人的控制方法及系统

技术领域

本发明涉及机器人控制领域，具体而言，涉及一种码垛机器人的控制方法及系统。

背景技术

目前的工业机器人行业中，对于自动化产品线采用机器人替代人工进行产品运输，堆叠，搬运工作。码垛工艺对于自动化生产线上的机器人运作十分重要。码垛即机器人将生产线上的产品物件按照设定好的码垛配方程序，按照一定空间排列组合，规整地码放在固定位置(一般为码盘或特定的区域)，可自由设定方向，数量，层数等。对于不同生产线的不同产品物件或是同一生产线上生产的不同产品物件，其外观形状，大小重量等都不尽相同。这也导致了使用码垛机器人进行码垛工作时，需要在同一码垛机器人上对于不同的生产线和产品物件，编写配置不同的码垛机器人码垛配方和程序，这导致的后果是严重增加了生产线维护人员或机器人操作员的工作量及工作时间，并且码垛配方程序编写难度高，操作复杂，对于操作员的技术要求较高，一旦生产线较长，产品一旦更换，重新启动生产线的准备时间将更长，导致生产效率降低，产出减少。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种码垛机器人的控制方法及系统，以至少解决相关技术中的码垛机器人在码垛时，需要根据码垛的产品形状，对码垛机器人的工作过程进行设定，在产品多样的情况下，需要频繁对码垛机器人进行人工设定，导致码垛效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种码垛机器人的控制方法，包括：获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；根据所述第一三维数据建立所述码垛对象的第一三维模型，以及根据所述第二三维数据建立所述码盘的第二三维模型；响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令；将所述控制指令发送给码垛机器人，控制所述码垛机器人将所述码垛对象堆码至所述码盘上的目标位置。

可选的，获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据包括：通过二维图像采集设备采集放置在所述码盘上的所述码垛对象的图形数据；通过三维图像采集设备采集放置在所述码盘上的所述码垛对象的立体数据；将所述图形数据和所述立体数据作为所述码垛对象的第一三维数据；根据历史数据或者终端输入，确定所述码盘的第二三维数据。

可选的，通过二维图像采集设备采集放置在所述码盘上的所述码垛对象的图形数据包括：通过所述二维图像采集设备采集所述码垛对象的二维图像；确定所述码垛对象在所述二维图像中内部图形数据和外部图形数据，其中，所述外部图形数据为所述二维图像中的外轮廓图形数据，所述内部图形数据为所述外轮廓之内的轮廓图形数据；根据所述内部图形数据和所述外部图形数据作为所述码垛对象在所述二维图像中的图形数据；按照预设的采集次数，采集多个不同角度的二维图像，确定多个二维图像中码垛对象的图形数据。

可选的，确定所述码垛对象在所述二维图像中内部图形数据和外部图形数据包括：确定所述二维图像中标定物体的比例变化，其中，所述标定物体为形状尺寸已知的物体；根据所述比例变化，确定所述码垛对象相对于所述标定物体的内部参数和外部参数；对所述内部参数和外部参数进行变换矩阵处理，确定所述码垛对象在所述二维图像中的内部图形数据和外部图形数据。

可选的，通过三维图像采集设备采集放置在所述码盘上的所述码垛对象的立体数据包括：通过所述三维图像采集设备采集所述码垛对象的三维图像；根据所述三维图像确定所述码垛对象在所述三维图像中的立体数据。

可选的，所述操作包括多个子操作，响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令包括：响应所述子操作，生成所述子操作对应的数据包，其中，所述数据包包括所述子操作执行完成后所述码垛对象在所述码盘的位置；根据每个所述子操作的数据包，确定所述码垛对象在所述子操作前后的初始位姿和目标位姿；根据所述初始位姿和所述目标位姿，确定多个子操作对码垛对象的码垛参数，其中，所述码垛参数包括：码垛对象的位姿偏移，所述子操作前的码垛属性信息；根据所述码垛参数生成多个子操作的多个子控制指令，其中，所述控制指令包括多个子控制指令。

可选的，将所述控制指令发送给码垛机器人，控制码垛机器人将所述码垛对象堆码至所述码盘上的目标位置还包括：将多个子控制指令按照先后顺序发送给所述码垛机器人；通过所述码垛机器人的控制系统，对所述多个子控制指令进行解析和执行，在所述码垛对象堆码至所述码盘上的目标位置的情况下，根据所述多个子控制指令生成并存储所述码垛机器人对所述码垛对象的码垛程序。

根据本发明实施例的另一方面，还提供了一种码垛机器人的控制系统，包括：获取模块，用于获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；建立模块，用于根据所述第一三维数据建立所述码垛对象的第一三维模型，以及根据所述第二三维数据建立所述码盘的第二三维模型；生成模块，用于响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令；控制模块，用于将所述控制指令发送给码垛机器人，控制所述码垛机器人将所述码垛对象堆码至所述码盘上的目标位置。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的码垛机器人的控制方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的码垛机器人的控制方法。

在本发明实施例中，采用获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置的方式，通过在终端对码垛对象的第一三维模型进行操作，移动到码盘的第二三维模型上的目标位置，自动生成码垛机器人的控制指令，控制码垛机器人工作，达到了通过终端上对三维模型的操作，来自动生成码垛机器人的控制指令，保证码垛机器人对不同的型号的产品的码垛对象进行有效码垛的目的，从而实现了提高码垛机器人的码垛效率的技术效果，进而解决了相关技术中的码垛机器人在码垛时，需要根据码垛的产品形状，对码垛机器人的工作过程进行设定，在产品多样的情况下，需要频繁对码垛机器人进行人工设定，导致码垛效率低下的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种码垛机器人的控制方法的流程图；

图2是根据本发明实施方式的相机架设结构的示意图；

图3是根据本发明实施方式的终端显示屏上显示码垛对象和码盘的三维模型的示意图；

图4是根据本发明实施方式的实施流程的流程图；

图5是根据本发明实施方式的数据传输的流程图；

图6是根据本发明实施方式的坐标转换的示意图；

图7是根据本发明实施例的一种码垛机器人的控制系统的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种码垛机器人的控制方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种码垛机器人的控制方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；

步骤S104，根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；

步骤S106，响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；

步骤S108，将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置。

通过上述步骤，采用获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置的方式，通过在终端对码垛对象的第一三维模型进行操作，移动到码盘的第二三维模型上的目标位置，自动生成码垛机器人的控制指令，控制码垛机器人工作，达到了通过终端上对三维模型的操作，来自动生成码垛机器人的控制指令，保证码垛机器人对不同的型号的产品的码垛对象进行有效码垛的目的，从而实现了提高码垛机器人的码垛效率的技术效果，进而解决了相关技术中的码垛机器人在码垛时，需要根据码垛的产品形状，对码垛机器人的工作过程进行设定，在产品多样的情况下，需要频繁对码垛机器人进行人工设定，导致码垛效率低下的技术问题。

上述码垛对象也即是码垛机器人需要进行码垛的产品物件，可以是块状结构，也可以是框架结构，块状结构的产品物件也存在不同形状和尺寸，框架结构由于其内部还存在一定的空间可以对其他的产品物件进行码垛，相关技术中，对于每一种码垛对象都需要人工在码垛机器人的机器人控制系统中编写具体针对的一种尺寸形状相同的码垛对象的码垛配方程序，在产品物件多样的情况下，导致码垛机器人的工作效率低。

本实施方式，先通过相机采集码垛对象的第一三维数据，该第一三维数据可以包括位置信息，也即是码垛对象的位置，以及码垛对象的形状尺寸等数据，根据第一三维数据可以建立码垛对象的三维模型。上述码盘的第二三维数据可以是通过历史数据，例如，之前确定的码垛机器人对已码垛的码垛对象的码垛程序的过程中，其码盘与本次码垛对象的码盘相同，包括位置和形状尺寸，则可以直接获取历史数据中的码盘的第二三维数据，由于码盘的形状都比较简单，通常都是矩形板状，因此其三维数据比较简单，而且码盘规格一般比较固定，也存在循环使用的情况，其三维数据的获取比较容易，可以通过简单测量得到，因此，也可以由操作员测量后，直接通过人机交互终端输入。

需要说明的是，单纯的通过二维相机对码垛对象进行多次采集，也可以获得码垛对象的第一三维数据，也可以单纯的通过三维相机对码垛对象进行采集，获得码垛对象的第一三维数据，但是单纯采用二维相机需要复杂的运算法过程，而且二维相机多次采集码垛对象的方式，也只能通过多个角度对码垛对象的三维数据进行确定，在码垛对象的形状结构复杂的情况下，其存在一定的准确度误差。单纯采用三维相机获取码垛对象的第一三维数据，其采集原理不同，存在其采集到的第一三维数据，存在一定程度的形状误差。而本申请采用二维相机和三维相机结合的方式可以较为准确的对码垛对象的第一三维数据进行采集，相比于单纯采用二维相机或者三维相机的方式，可以一定程度上提高码垛对象的第一三维数据的采集准确性。

具体的，获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据包括：通过二维图像采集设备采集放置在码盘上的码垛对象的图形数据；通过三维图像采集设备采集放置在码盘上的码垛对象的立体数据；将图形数据和立体数据作为码垛对象的第一三维数据；根据历史数据或者终端输入，确定码盘的第二三维数据。

需要说明的是，在终端的显示屏上建立码垛对象的第一三维模型和码盘的第二三维模型时，码垛对象也可以不在码盘上，在建立第一三维模型和第二三维模型时，只需要保证码垛对象的第一三维模型，与码盘的第二三维模型之间的相对位置，与真实的码垛对象与码盘的相对位置相同即可。但是考虑到在实施过程中，通常都是需要先将码垛对象放置在码盘上，也处于码垛机器人的工作范围之内，才对码垛对象进行码垛。上述码垛对象不在码盘上的情况，也即是码垛机器人可移动，或者码垛机器人的工作范围较大，可以满足不属于码盘上的其他位置的码垛对象的码垛工作。

上述通过二维图像采集设备采集放置在码盘上的码垛对象的图形数据可以为多个，由于二维相机采集的图形数据只是针对码垛对象的某一个方向上的二维投影，其二维图像数据比较片面，通常都需要至少二维相机采集码垛对象在两个或三个角度上的图形数据，在码垛对象的结构复杂的情况下，需要二维相机在更多角度上的图形数据。其二维相机采集的角度和次数可以由操作员根据经验进行确定。

上述三维采集设备采集放置在码盘上的码垛对象的立体数据，其实际上是整个码垛对象的三维数据，在使用时，可以结合二维相机采集的图形数据，确定其图形数据的在图形平面的立体方向上的尺寸，例如，二维图形数据为正上方采集的图形数据，则可以从立体数据中提取该图形的高度，二维图形数据为左右侧面采集的图形数据，则可以从立体数据中提取该图形的宽度，二维图形数据为正面采集的图形数据，则可以从立体数据中提取该图形的深度。

上述二维相机和三维相机可以设置在工业相机架上，二维相机和三维相机对码垛对象的采集，都可以由人机交互终端进行控制，由操作员通过人机交互终端对工业相机架上的二维相机和三维相机的拍摄角度，拍摄高度等进行控制。

在另一种实施方式中，码盘的第二三维数据也可以通过码垛对象的第一三维数据的采集方式进行采集，包括单纯采用二维相机进行多次采集，单纯采用三维相机进行采集，或者结合二维相机和三维相机进行采集。

可选的，通过二维图像采集设备采集放置在码盘上的码垛对象的图形数据包括：通过二维图像采集设备采集码垛对象的二维图像；确定码垛对象在二维图像中内部图形数据和外部图形数据，其中，外部图形数据为二维图像中的外轮廓图形数据，内部图形数据为外轮廓之内的轮廓图形数据；根据内部图形数据和外部图形数据作为码垛对象在二维图像中的图形数据；按照预设的采集次数，采集多个不同角度的二维图像，确定多个二维图像中码垛对象的图形数据。

需要说明的是，上述外轮廓可以为半封闭轮廓或全封闭轮廓，其主要表达的信息是码垛对象的外部尺寸，上述内轮廓可以为外部轮廓之内的轮廓，内轮廓主要表达的信息是码垛对象的内部空间，以确定其内部是否可以进行穿插或者放置其他的码垛对象。

可选的，确定码垛对象在二维图像中内部图形数据和外部图形数据包括：确定二维图像中标定物体的比例变化，其中，标定物体为形状尺寸已知的物体；根据比例变化，确定码垛对象相对于标定物体的内部参数和外部参数；对内部参数和外部参数进行变换矩阵处理，确定码垛对象在二维图像中的内部图形数据和外部图形数据。

具体的，通过二维相机的标定物体的比例变化并通过openCV库提供的算法实现对二维相机进行标定计算，获取其内部参数和外部参数，采用变化矩阵标定法，通过图像的几何变化主要是缩放、平移、旋转等，通过矩阵表达式来描述这些变化，根据上述内部参数和外部参数，求得码垛对象的内部图形数据和外部图形数据。也即是对二维图像中由于采集视角引起的变形进行修正，确定码垛对象在二维图像中的部分结构的实际图形数据。

可选的，通过三维图像采集设备采集放置在码盘上的码垛对象的立体数据包括：通过三维图像采集设备采集码垛对象的三维图像；根据三维图像确定码垛对象在三维图像中的立体数据。

上述三维图像采集设备可以为深度相机等，直接通过深度相机进行拍摄可以得到三维图像的立体数据。包括上述二维相机采集的图形数据在图形平面的立体方向上的尺寸，例如，二维图形数据为正上方采集的图形数据，则可以从立体数据中提取该图形的高度，二维图形数据为左右侧面采集的图形数据，则可以从立体数据中提取该图形的宽度，二维图形数据为正面采集的图形数据，则可以从立体数据中提取该图形的深度。

上述根据第一三维数据建立码垛对象的第一三维模型，根据第二三维数据建立码盘的第二三维模型，可以通过仿真软件，建立该码垛对象的第一三维模型和码盘的第二三维模型。

可选的，操作包括多个子操作，响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令包括：响应子操作，生成子操作对应的数据包，其中，数据包包括子操作执行完成后码垛对象在码盘的位置；根据每个子操作的数据包，确定码垛对象在子操作前后的初始位姿和目标位姿；根据初始位姿和目标位姿，确定多个子操作对码垛对象的码垛参数，其中，码垛参数包括：码垛对象的位姿偏移，子操作前的码垛属性信息；根据码垛参数生成多个子操作的多个子控制指令，其中，控制指令包括多个子控制指令。

上述终端的显示屏上，操作人员对码垛对象的操作通常都需要分为多个步骤，其操作步骤也需要考虑到码垛机器人的能力，例如，码垛机器人只能执行直线移动和原地旋转的操作，在终端显示屏上的多个子操作也需要为直线移动和原地旋转操作。从而使得对该码垛对象的第一三维模型的操作通常为多个子操作。

每个子操作在执行后，响应该子操作，生成子操作对应的数据包，数据包包括子操作执行完成后码垛对象在码盘的位置；根据每个子操作的数据包，确定码垛对象在子操作前后的初始位姿和目标位姿，根据初始位姿和目标位姿，确定多个子操作对码垛对象的码垛参数，其中，码垛参数包括：码垛对象的位姿偏移，子操作前的码垛属性信息，根据码垛参数生成多个子操作的多个子控制指令，其中，控制指令包括多个子控制指令。由多个子控制指令组成该控制指令。

在一种实施方式中，每个子控制指令生成之后，都可以直接发送给码垛机器人，码垛机器人实时根据子操作生成的子控制指令进行码垛，以便提高码垛机器人的码垛效率。

可选的，将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置还包括：将多个子控制指令按照先后顺序发送给码垛机器人；通过码垛机器人的控制系统，对多个子控制指令进行解析和执行，在码垛对象堆码至码盘上的目标位置的情况下，根据多个子控制指令生成并存储码垛机器人对码垛对象的码垛程序。

将子控制指令按照先后顺序发送给码垛机器人后，码垛机器人进行解析和执行，并生成码垛该类码垛对象的码垛程序，将码垛程序打包成工艺包进行存储，之后，码垛机器人再遇到对该类的码垛对象进行码垛时，就可以根据工艺包进行码垛，大大提高了码垛的效率。

需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式根据目前生产线上使用机器人进行码垛工作时，对于码垛配方程序编写困难和复杂的问题，提供了一种机器人智能码垛配方生成系统及方法。通过视觉拍照生成二维和三维图像，于人机交互终端形成三维仿真模型，通过图形拖拽操作，智能转换为码垛配方程序的自动生成，替代生产线操作员编程工作，使操作人员面对晦涩难懂的机器人编程转变为易懂好上手的图形操作。

本实施方式解决的如下技术问题：机器人码垛配方程序编写复杂，难度高；自动化生产线更换产品物件准备时间长；码垛配方程序转换为三维图的直观显示。图4是根据本发明实施方式的实施流程的流程图，如图4所示，本实施方式通过视觉拍照获取产品物件的二维图形数据和三维立体数据，在PC端可直观显示码盘及产品物件三维模型图，上述产品物件也即是上述码垛对象。在PC端上通过拖拽产品物件的第一三维模型在码盘的第二三维模型上的码垛位置，自动生成操作员需要的码垛机器人码垛配方程序，并主动下发到机器人控制系统，减少操作员编程工作，减少了生产线换线或更换产品的准备时间，提高生产效率。

采用本实施方式的方法可以通过直观的图形拖动方式，对编写复杂晦涩的码垛配方程序进行自动生成，并同步下发生产线上的码垛机器人控制系统，快速完成生产线的换线或更换产品的工作。其具体流程如下：

首先，图2是根据本发明实施方式的相机架设结构的示意图，如图2所示，架设相机，包括工业二维相机、三维相机，使用专业工业相机架，将生产线当前需要生产的产品物件放置在码盘(插板等)上，使用PC端或机器人示教器等人机交互终端控制上述相机拍照，PC端通过USB进行数据传输，控制相机进行拍照；示教器端通过Socket网络通信，向相机发送拍照命令的数据信息来控制相机进行拍照。通过二维相机获得产品物件和码盘的二维图形数据信息，通过二维相机视野内的标定物体的比例变化并通过openCV库提供的算法实现对二维相机进行标定计算，获取码垛对象相对于标定物提的内外部参数，包括内部参数和外部参数，采用变化矩阵标定法，通过图像的几何变化主要是缩放、平移、旋转等，通过矩阵表达式来描述这些变化，结合码垛对象的上述内外部参数得到码垛对象的二维模型参数数据，也即是上述图形数据。通过三维相机获得产品物件和码盘的三维立体数据信息，通过三维相机视野内产品物件，获得产品物件的三维信息数据，也即是上述立体数据，包含高度、宽度、深度，并结合上述图形数据，建立物件产品的三维模型，如图3所示，图3是根据本发明实施方式的终端显示屏上显示码垛对象的第一三维模型和码盘的第二三维模型的示意图。

上述openCV库：提供算法实现对二维RGB相机进行标定时，openCV库提供的可应用算法如下：

(1)opencv_imgproc：opencv图像处理库。包含各种图像处理算法；

(2)opencv_features2d，该库用于2D特征检测，描述与匹配；

(3)opencv_calib3d，该库用于3D重建，姿态估计，摄像机标定；

(4)还使用了openCV库中的部分基础算法，再次不再一一列举；

矩阵标定法为获得二维相机的内外部参数，为了进行相机标定，必须已知世界坐标系中足够多的空间点坐标，找到这些空间点在图像中投影点的二维图像坐标，并建立对应关系。世界坐标系中某个给定点投影到图像坐标系中具体如下：

(1)图像坐标系：

(u，v)：以像素为单位的图像坐标；

(x，y)：以微米为单位的图像坐标；

(2)相机坐标系和世界坐标系：

(x_c,y_c,z_c)：相机坐标系；

(x_w,y_w,z_w)：世界坐标系；

R和t称为相机外部參数。R在这里是旋转矩阵。能够转换为三维的旋转向量。分别表示绕x。y，z三个轴的旋转角度。t就是一个平移向量，分别表示在x，y，z三个方向上的平移量。

(3)通过以下公式转换可求得内部参数K：

相机内部参数的作用是确定相机从三维空间到二维图像的投影关系。相机外部参数的作用是确定相机坐标与世界坐标系之间相对位置关系。

操作员将在PC端或示教器等人机交互终端获得该第一三维模型和第二三维模型并显示在终端界面，人机交互终端将使用仿真软件进行物件和码盘模型显示，通过对产品物件的第一三维模型在码盘的第二三维模型上位置的拖拽，摆放，旋转，复制，堆叠等操作，得到最合适的产品物件的码垛垛型，每一次的操作都将产生数据包，数据包内容包含产品在码盘上的位置信息，通过产品物件的高度并计算机器人的移动到目标放置点的偏移，包括X轴，Y轴，Z轴和X-Y平面旋转角度，当前码放的数量信息，码垛的垛型、方向、出入口点位等信息，通过TCP/IP协议，下发至码垛机器人控制系统，由码垛机器人控制系统解析该数据包，结合码垛机器人的运动指令，通过运动控制算法，引导码垛机器人对目标点偏移量的运动补偿，获得完整的码垛结果，其中，码垛结果是指最终获得的垛型，机器人运动控制算法通过上方偏移、旋转角度、数量等数据信息来获得码垛的最终的垛型，码放方向，总个数等。是由运动控制器运动控制算法模块和指令解析模块获得，是一个模拟了真实码垛结果的方案。最后，再通过该方案来生成实际应用的机器人程序，具体由码垛机器人控制系统自动编写当前已码放产品的码垛配方程序，并生成码垛工艺包存储在码垛机器人控制系统中。

使用该码垛工艺包，对产品物件进行码放堆叠，能够按照预期结果，节省了操作员去单独示教码垛机器人的工作，为生产线的换线或产品更换提供高效率的支持，能够减少生产线更新时间，减少操作员工作量，提高安全性和可靠性，增加生产效率。

图5是根据本发明实施方式的数据传输的流程图，如图5所示，二维相机采集的二维数据，以及三维相机采集的三维数据，传输给人机交互终端，建立第一三维模型和第二三维模型，人机交互终端上对第一三维模型的操作，生成控制指令发送给码垛机器人的机器人控制系统，机器人控制系统生成配方程序，进行存储，在码垛机器人对第一三维模型的对应的产品物件进行码垛时，调用对应的码垛配方程序控制码垛机器人私服驱动，对该产品物件进行码垛。

图6是根据本发明实施方式的坐标转换的示意图，如图6所示，在人机交互终端上创建第一三维模型和第二三维模型时，先确定三维模型对应的真实产品物件或码盘的在世界坐标系中的世界坐标，经纬度和海拔，然后基于相机坐标系将上述世界坐标进行转换，得到图像坐标系中的坐标，从而实现在人机交互终端上对第一三维模型和第二三维模型的创建。

图7是根据本发明实施例的一种码垛机器人的控制系统的示意图，如图7所示，根据本发明实施例的另一方面，还提供了一种码垛机器人的控制系统，包括：获取模块72，建立模块74，生成模块76和控制模块78，下面对该系统进行详细说明。

获取模块72，用于获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；建立模块74，与上述获取模块72相连，用于根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；生成模块76，与上述建立模块74相连，用于响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；控制模块78，与上述生成模块76相连，用于将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置。

通过上述系统，采用获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；根据第一三维数据建立码垛对象的第一三维模型，以及根据第二三维数据建立码盘的第二三维模型；响应将第一三维模型移动至第二三维模型的目标位置的操作，生成码垛机器人的控制指令；将控制指令发送给码垛机器人，控制码垛机器人将码垛对象堆码至码盘上的目标位置的方式，通过在终端对码垛对象的第一三维模型进行操作，移动到码盘的第二三维模型上的目标位置，自动生成码垛机器人的控制指令，控制码垛机器人工作，达到了通过终端上对三维模型的操作，来自动生成码垛机器人的控制指令，保证码垛机器人对不同的型号的产品的码垛对象进行有效码垛的目的，从而实现了提高码垛机器人的码垛效率的技术效果，进而解决了相关技术中的码垛机器人在码垛时，需要根据码垛的产品形状，对码垛机器人的工作过程进行设定，在产品多样的情况下，需要频繁对码垛机器人进行人工设定，导致码垛效率低下的技术问题。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的码垛机器人的控制方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质包括存储的程序，其中，在程序运行时控制计算机存储介质所在设备执行上述中任意一项的码垛机器人的控制方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种码垛机器人的控制方法，其特征在于，包括：

获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；

根据所述第一三维数据建立所述码垛对象的第一三维模型，以及根据所述第二三维数据建立所述码盘的第二三维模型；

响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令；

将所述控制指令发送给码垛机器人，控制所述码垛机器人将所述码垛对象堆码至所述码盘上的目标位置。

2.根据权利要求1所述的方法，其特征在于，获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据包括：

通过二维图像采集设备采集放置在所述码盘上的所述码垛对象的图形数据；

通过三维图像采集设备采集放置在所述码盘上的所述码垛对象的立体数据；

将所述图形数据和所述立体数据作为所述码垛对象的第一三维数据；

根据历史数据或者终端输入，确定所述码盘的第二三维数据。

3.根据权利要求2所述的方法，其特征在于，通过二维图像采集设备采集放置在所述码盘上的所述码垛对象的图形数据包括：

通过所述二维图像采集设备采集所述码垛对象的二维图像；

确定所述码垛对象在所述二维图像中内部图形数据和外部图形数据，其中，所述外部图形数据为所述二维图像中的外轮廓图形数据，所述内部图形数据为所述外轮廓之内的轮廓图形数据；

根据所述内部图形数据和所述外部图形数据作为所述码垛对象在所述二维图像中的图形数据；

按照预设的采集次数，采集多个不同角度的二维图像，确定多个二维图像中码垛对象的图形数据。

4.根据权利要求3所述的方法，其特征在于，确定所述码垛对象在所述二维图像中内部图形数据和外部图形数据包括：

确定所述二维图像中标定物体的比例变化，其中，所述标定物体为形状尺寸已知的物体；

根据所述比例变化，确定所述码垛对象相对于所述标定物体的内部参数和外部参数；

对所述内部参数和外部参数进行变换矩阵处理，确定所述码垛对象在所述二维图像中的内部图形数据和外部图形数据。

5.根据权利要求2所述的方法，其特征在于，通过三维图像采集设备采集放置在所述码盘上的所述码垛对象的立体数据包括：

通过所述三维图像采集设备采集所述码垛对象的三维图像；

根据所述三维图像确定所述码垛对象在所述三维图像中的立体数据。

6.根据权利要求2所述的方法，其特征在于，所述操作包括多个子操作，响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令包括：

响应所述子操作，生成所述子操作对应的数据包，其中，所述数据包包括所述子操作执行完成后所述码垛对象在所述码盘的位置；

根据每个所述子操作的数据包，确定所述码垛对象在所述子操作前后的初始位姿和目标位姿；

根据所述初始位姿和所述目标位姿，确定多个子操作对码垛对象的码垛参数，其中，所述码垛参数包括：码垛对象的位姿偏移，所述子操作前的码垛属性信息；

根据所述码垛参数生成多个子操作的多个子控制指令，其中，所述控制指令包括多个子控制指令。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，将所述控制指令发送给码垛机器人，控制码垛机器人将所述码垛对象堆码至所述码盘上的目标位置还包括：

将多个子控制指令按照先后顺序发送给所述码垛机器人；

通过所述码垛机器人的控制系统，对所述多个子控制指令进行解析和执行，在所述码垛对象堆码至所述码盘上的目标位置的情况下，根据所述多个子控制指令生成并存储所述码垛机器人对所述码垛对象的码垛程序。

8.一种码垛机器人的控制系统，其特征在于，包括：

获取模块，用于获取码垛对象的第一三维数据，以及用于堆放码垛对象的码盘的第二三维数据；

建立模块，用于根据所述第一三维数据建立所述码垛对象的第一三维模型，以及根据所述第二三维数据建立所述码盘的第二三维模型；

生成模块，用于响应将所述第一三维模型移动至所述第二三维模型的目标位置的操作，生成码垛机器人的控制指令；

控制模块，用于将所述控制指令发送给码垛机器人，控制所述码垛机器人将所述码垛对象堆码至所述码盘上的目标位置。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的码垛机器人的控制方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至7中任意一项所述的码垛机器人的控制方法。

Images