CN110582733A - 用于估计工业机器人的调试工具的系统误差的方法和装置 - Google Patents

Abstract

本公开涉及用于估计工业机器人的调试工具的系统误差的方法和装置，该工业机器人包括操作工具和应用相机，该调试工具包括触摸屏和触笔，该方法包括：驱动步骤，驱动操作工具围绕预设旋转轴旋转；第一图像获取步骤，在旋转期间获取操作工具的多个第一图像；以及第一偏移计算步骤，根据多个第一图像计算触笔相对于操作工具的第一偏移，以获取系统误差。

Description

用于估计工业机器人的调试工具的系统误差的方法和装置

技术领域

本公开涉及误差估计的领域，并且更具体地，涉及用于估计工业机器人的调试工具的系统误差的方法。

背景技术

通常，工业机器人可以包括应用相机和安装在它的臂的端部的操作工具。不同的操作工具可以用于不同的操作对象和任务。应用相机可以起到机器人的眼睛的作用，以帮助机器人通过获取和分析图像来移动和定位。

在将工业机器人安装在实际应用环境中的同时，需要完成一系列校准和配置工作，并且该工作通常被称为工业机器人调试。

WO2016/154995A1公开了一种用于工业机器人调试的方法以及工业机器人系统，其中诸如移动电话之类的移动设备上的触摸屏被用作工业机器人调试中的调试工具，以便以自动化并且方便的方式执行工业机器人调试。在调试过程中，调试工具还包括触笔，触笔被安装在机器人的臂的端部，并且可以接触触摸屏。

然而，这些调试工具的引入将带来额外的系统误差。例如，当通过使用触笔执行工具中心点校准时，从校准获取的中心点实际上是触笔的位置，并且触笔的位置相对于机器人的操作工具的位置具有固定的偏移。

此外，触摸屏通常包括触摸框架和显示框架，并且在这两个框架的坐标系之间也存在偏移。

到目前为止，现有技术没有公开可以计算上述偏移的任何技术方案。

因此，需要提供一种用于估计工业机器人的调试工具的系统误差的方法和装置，以便解决现有技术中的上述技术问题。

发明内容

本公开的目的是提供一种用于估计工业机器人的调试工具的系统误差的方法和装置。

根据本公开的一个方面，提供了一种用于估计工业机器人的调试工具的系统误差的方法，工业机器人包括操作工具和应用相机，调试工具包括触摸屏和触笔，方法包括：驱动步骤，驱动操作工具围绕预设旋转轴旋转；第一图像获取步骤，在旋转期间获取操作工具的多个第一图像；以及第一偏移计算步骤，根据多个第一图像计算触笔相对于操作工具的第一偏移，以获取系统误差。

根据本公开的另一方面，提供了一种用于估计工业机器人的调试工具的系统误差的装置，工业机器人包括操作工具和应用相机，调试工具包括触摸屏和触笔，装置包括：驱动模块，被布置为驱动操作工具围绕预设旋转轴旋转；第一图像获取模块，被布置为在旋转期间获取操作工具的多个第一图像；以及第一偏移计算模块，被布置为根据多个第一图像计算触笔相对于操作工具的第一偏移，以便获取系统误差。

通过本公开提供的用于估计工业机器人的调试工具的系统误差的方法和装置，可以在没有添加任何硬件设备的情况下自动地计算调试期间工业机器人的系统误差，从而增加调试期间工业机器人的校准精度。

附图说明

参考附图，通过对本发明实施例的描述可以更好地理解本发明，其中：

图1示意性地示出了根据本发明的一个实施例的用于估计工业机器人的调试工具的系统误差的方法的流程图；

图2示意性地示出了根据本发明的一个实施例的当估计第一偏移时调试相机、触笔和操作工具之间的位置关系的示意图；

图3示意性地示出了根据本发明的一个实施例的在估计工业机器人的调试工具的系统误差期间根据多个第一图像来估计第一偏移的流程图；

图4示意性地示出了根据本发明的一个实施例的当根据多个第一图像来估计第一偏移时将多个位置数据拟合到弧的示意图；

图5示意性地示出了根据本发明的另一实施例的用于估计工业机器人的调试工具的系统误差的方法的流程图；

图6示意性地示出了根据本发明的又一实施例的用于估计工业机器人的调试工具的系统误差的方法的流程图；

图7示意性地示出了根据本发明的一个实施例的在图6中示出的实施例中的步骤604的流程图；

图8示意性地示出了根据本发明的一个实施例的当估计第二偏移时调试相机、触笔和操作工具之间的位置关系的示意图；

图9示意性地示出了根据本发明的一个实施例的当估计第二偏移时包含触笔位置的图像的示意图；

图10示意性地示出了根据本发明的另一实施例的在图6中示出的实施例中的步骤604的流程图；以及

图11示意性地示出了根据本发明的一个实施例的用于估计工业机器人的调试工具的系统误差的装置的框图。

贯穿附图中，相同或相似的附图标记表示相同或相似的元件。

具体实施方式

以下描述本发明的具体实施例。应注意，在描述实施例时，为了简洁起见，本说明书可能未完全描述实际实施例的所有特征。应该理解，在任何一个实施例的实际实施过程中，就像在任何一个工程项目或设计项目的过程中一样，为了实现开发人员的特定目标并满足系统相关或业务相关的限制，通常做出各种具体的策略，这也导致从一个实施例到另一实施例的改变。另外，可以理解，尽管在这种开发过程中所做的努力可能是复杂和乏味的，但是对于与本发明所公开的内容相关的本领域普通技术人员来说，在本公开中公开的技术内容的基础上所做的设计、制造或生产的一些变化仅仅是传统的技术手段，并且本公开的内容不应被解释为不充分。

除非另外定义，权利要求和说明书中使用的技术或科学术语应该是本领域普通技术人员所解释的一般含义。词语“第一”、“第二”等不应被理解为任何顺序、数量或重要性，而仅用于区分不同的组件。单词“一”不应被视为任何数量限制，而应被理解为“至少一个”。词语“包括”或“包含”等表示“包含”或“包含”之前的元素或物品包含在“包含”或“包括”之后所列举的元素或物品和等同元素，并且不排除其他元素或者物品。“连接”或“链接”等词语既不限于物理或机械连接，也不限于直接或间接连接。

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的具体实施例和附图，对本发明的技术方案进行清楚、完整地描述。显然，要描述的实施例仅仅是本发明实施例的一部分，而不是所有实施例。基于本发明实施例，本领域普通技术人员在没有做出任何创造性技术的前提下所作的所有其他实施例，都应属于本发明保护的范围。

工业机器人的调试工具可以包括触笔、触摸屏和调试相机。触笔可以被安装在机器人的臂的末端，用于点击触摸屏。调试相机可以与触摸屏集成，例如，调试相机可以是移动电话或平板电脑中的相机。

在通过使用触笔执行工具中心点校准的同时，由于触笔与机器人的操作工具之间存在偏移，因此由校准产生的工具中心点的位置具有误差。因此，参照图1，该图示意性地示出了根据本发明的一个实施例的用于估计工业机器人的调试工具的系统误差的方法100的流程图。如图1所示，方法100可以包括如下的步骤101至103。

在步骤101中，驱动操作工具围绕预设旋转轴旋转。

如图2所示，根据本发明的一个实施例，预设旋转轴可以是触笔201的长轴204。

根据本发明的另一实施例，预设旋转轴还可以是平行于触笔的长轴204的任何轴，具有到触笔的长轴的已知距离。

根据本发明的一个实施例，操作工具202可以在机器人的控制下围绕预设旋转轴旋转。例如，当操作工具围绕触笔201的长轴204旋转时，可以认为触笔201基本上是静止的，而操作工具沿着如图4中的弧箭头所指示的方向转动。

在步骤102中，在旋转期间获取操作工具的多个第一图像。

根据本发明的一个实施例，如图2中所示，移动电话或平板电脑中的相机203可以被用作调试相机。相机203被预先布置在在旋转期间可以捕获操作工具202的多个位置的位置处。当操作工具202开始旋转时，相机203可以捕获多个第一图像，每个第一图像可以包含操作工具在拍摄时刻的位置。

在步骤103中，根据多个第一图像计算触笔相对于操作工具的第一偏移，以便获取系统误差。

参考图3，该图示意性地示出了根据本发明的一个实施例的在估计工业机器人的调试工具的系统误差期间根据多个第一图像计算第一偏移的流程图。根据本发明的一个实施例，如图3所示，步骤103可以包括子步骤301和302。

在子步骤301中，将多个第一图像上的操作工具的中心点拟合到弧中。

如图4所示，在由调试相机获取的多个图像上，操作工具的中心点位置可以是401、402和403，并且这些图像的主点(principal points)可以是406、407和408。利用这些中心点，可以拟合弧404。并且点405可以表示旋转轴在图像上的位置。

在子步骤302中，对应于弧的半径被计算为第一偏移。

如图4所示，合成弧404的半径表示从操作工具到旋转轴的距离。当旋转轴是触笔的长轴时，该距离是第一偏移；当旋转轴是平行于触笔的长轴的某一轴时，第一偏移可以是弧的半径加上从旋转轴到触笔的长轴的距离。

由于调试相机坐标系与机器人运动坐标系之间也存在偏移，并且偏移尚未被校准，所以通过以上步骤获取的第一偏移的精度可能不够高。由此，参照图5，该图示意性地示出了根据本发明的另一实施例的用于估计工业机器人的调试工具的系统误差的方法500的流程图。根据本发明的另一实施例，方法500可以包括步骤501至506。其中，步骤501到503类似于上述步骤101和103，因此在此被省略。

在步骤504中，当半径大于预设的第一阈值或最后两次计算的半径之间的差值大于预设的第二阈值时，流程进行到步骤505，否则进行到步骤506。

如果半径大于预设的第一阈值或者最后两次计算的半径之间的差值大于预设的第二阈值，则这意味着调试相机坐标系与机器人运动坐标系之间的偏移使得第一偏移的估计结果不够准确。因此，流程可以进行到步骤505。

在步骤505中，更新旋转轴的位置。

在机器人运动坐标系中，调试工具可以被驱动以移动由第一偏移表示的距离，并且然后调试工具在新位置中的长轴或平行于长轴的轴可以被用作更新的旋转轴。此外，流程根据更新的旋转轴的位置返回到步骤101，并且通过迭代地执行步骤101到103来重新估计进一步的第一偏移。

在步骤506中，最后获取的第一偏移被用作第一偏移的最终估计值。

当最后获取的弧的半径不超过预设的阈值或者最后两次计算的弧的半径之间的差值不超过预设的第二阈值时，可以认为第一偏移的估计值的精度足够高，迭代可以结束，并且最后获取的弧的半径用作第一偏移的估计值的最终输出。

利用图5所示的方法500，可以更准确地估计由触笔与真实操作工具之间的第一偏移引起的系统误差。

当在工业机器人调试期间执行手眼校准时，可以从机器人运动坐标系和触摸屏坐标系之间，以及触摸屏坐标系与应用相机坐标系之间的关系获取机器人运动坐标系和应用相机坐标系之间的关系。

然而，由于触摸屏实际上具有带有特定偏移的两个坐标系，其中一个坐标系是触摸屏中的触摸框架的坐标系，而另一个坐标系是触摸屏中的显示框架的坐标系。在获取机器人运动坐标系与触摸屏坐标系之间的关系时，实际获取的是机器人运动坐标系与触摸框架坐标系之间的关系；当获取触摸屏坐标系与应用相机坐标系之间的关系时，实际获取的是显示框架坐标系与应用相机坐标系之间的关系。不可避免地，机器人运动坐标系与应用相机坐标系之间的关系被计算为包含偏移，该偏移是触摸屏中的触摸框架坐标系与显示框架坐标系之间的偏移，即在本专利中提及的第二偏移。如果可以估计该偏移，则可以进一步减少工业机器人的调试工具的系统误差。

因此，参照图6，该图示意性地示出了根据本发明的另一实施例的用于估计工业机器人的调试工具的系统误差的方法600的流程图。如图6所示，方法600可以包括步骤601到604，其中步骤601到603类似于上述步骤101和103，因此在此被省略。

在步骤604中，根据触笔的图像计算触摸屏中的触摸框架坐标系与显示框架坐标系之间的第二偏移，以便获取系统误差。

根据本发明的一个实施例，通常可以根据包含触笔的位置信息的图像和捕获图像的相机的主点位置，来计算触摸屏中的触摸框架坐标系与显示框架坐标系之间的第二偏移。

根据本发明的一个实施例，参考图7，该图示意性地示出了根据一个实施例的步骤604的流程图。如图7所示，步骤604还可以包括子步骤701到704。

在子步骤701中，获取调试相机的主点。

相机的主点可以是调试相机的中心光轴与调试相机的成像平面(例如，成像传感器CCD所在的平面)之间的交点。对于相机，其主点位置是固定的。

根据本发明的一个实施例，可以使用任何现有技术方案来获取调试相机的主点位置的坐标。

在子步骤702中，触笔被移动，使得在应用相机坐标系中，触笔的长轴与主点在一条直线上，并且该直线大致垂直于调试相机的成像平面。

如图8中所示，第一调试相机801可以被布置在应用相机802的视线范围内，并且然后在机器人运动坐标系中，触笔201被移动到其中它的长轴204与调试相机801的主点在一条直线上并且该直线大致垂直于调试相机的成像平面的位置。

在子步骤703中，获取包含长轴的位置的图像。

根据本发明的一个实施例，可以利用调试相机获取图像。如图9所示，图像901可以包含触笔的图像902和触笔的长轴的位置点903。位置点903可以根据触笔的图像902来获取。

在子步骤704中，根据第二图像计算主点相对于长轴的偏移向量，该偏移向量用作第二偏移。

可以从第二图像901获取主点904相对于长轴的位置点903的偏移向量，该偏移向量接着用作第二偏移，以反映由触摸屏中的触摸框架坐标系与显示框架坐标系之间的偏移引起的系统误差。

由于在调试相机坐标系与机器人运动坐标系之间也存在偏移并且该偏移尚未被校准，所以通过以上步骤获取的第二偏移的精度可能不够高。因此，参照图10，该图示意性地示出了根据另一实施例的步骤604的流程图。如图10所示，步骤604可以包括子步骤1001到1007，其中子步骤1001到1004类似于上述子步骤701到704，因此在此被省略。

在子步骤1005中，当第二偏移大于预设的第三阈值或最后两次计算的第二偏移之间的差值大于预设的第四阈值时，流程进行到子步骤1006，否则进行到子步骤1007。

如果第二偏移大于预设的第三阈值或者最后两次计算的第二偏移之间的差值大于预设的第四阈值，则这意味着由调试相机坐标系与机器人坐标系之间的偏移引起的第二偏移的估计结果不够准确。因此，流程可以进行到子步骤1006以进一步通过迭代来估计第二偏移。

在子步骤706中，根据第二偏移来调整触笔的位置，并且流程返回到子步骤1002以迭代地执行子步骤1002到1004。

具体地，在机器人运动坐标系中，可以根据在子步骤1004中估计的第二偏移来移动触笔，并且然后流程返回到子步骤702，以通过根据更新的触笔位置迭代地执行子步骤1002到1004来重新估计第二偏移。

在子步骤1007中，最后获取的第二偏移被用作第二偏移的最终估计值。

当最后获取的第二偏移不超过预设的第三阈值或者最后两次计算的第二偏移之间的差值不超过当前的第四阈值时，可以认为第二偏移的估计值的精度足够高，迭代过程可以结束，并且最后获取的第二偏移的估计值被用作最终输出值。

已经提出了根据本发明的实施例的用于估计工业机器人的调试工具的系统误差的方法的描述。通过该方法，可以自动地估计用于工业机器人的调试工具的系统误差，并且可以提高工业机器人调试的精度，而无需添加任何额外的硬件。

本发明还提供了一种用于估计工业机器人的调试工具的系统误差的装置。

工业机器人包括操作工具和应用相机，并且调试工具包括触摸屏和触笔。

参考图11，该图示意性地示出了根据本发明的一个实施例的用于估计工业机器人的调试工具的系统误差的装置1100的框图。如图11所示，装置1100可以包括：驱动模块1101，被布置为驱动操作工具围绕预设旋转轴旋转；第一图像获取模块1102，被布置为在旋转期间获取操作工具的多个第一图像；以及第一偏移计算模块1103，被布置为根据多个第一图像计算触笔相对于操作工具的第一偏移，以获取系统误差。

根据本发明的一个实施例，预设旋转轴可以是触笔的长轴或可以平行于触笔的长轴。

根据本发明的一个实施例，第一偏移计算模块1103还可以包括：拟合模块，被布置为将多个第一图像上的操作工具的中心点拟合到弧；以及半径计算模块，被布置为计算与弧相对应的半径，作为第一偏移

根据本发明的一个实施例，装置1100还可以包括：旋转轴位置更新模块，被布置成当半径大于预设的第一阈值时或者最后两次计算的半径之间的差值大于预设的第二阈值时，根据第一偏移更新旋转轴的位置。

根据本发明的一个实施例，装置1100还可以包括：第二偏移计算模块，被布置为根据触笔的图像计算触摸屏中的触摸框架坐标系与显示框架坐标系之间的第二偏移。

根据本发明的一个实施例，第二偏移计算模块还可以包括：主点获取模块，被布置为获取调试相机的主点；触笔移动模块，被布置为移动触笔使得在应用相机坐标系中，触笔的长轴与主点在一条直线上，并且直线大致垂直于调试相机的成像平面；第二图像获取模块，被布置为获取包含长轴位置的第二图像；以及偏移向量计算模块，被布置为根据第二图像计算主点相对于长轴的偏移向量，作为第二偏移。

根据本发明的一个实施例，装置1100还可以包括：触笔位置调整模块，被布置为在第二偏移大于预设的第三阈值或最后两次计算的第二偏移之间的差值大于预设的第四阈值时，根据第二偏移来调整触笔的位置。

根据本发明的一个实施例，图像可以由调试相机获取。

对于根据本发明的实施例的用于估计工业机器人的调试工具的系统误差的装置的描述已经呈现。利用该装置，可以自动地估计用于工业机器人的调试工具的系统误差，并且可以在无需添加任何额外的硬件的情况下提高工业机器人调试的精度。

以上已经说明了本公开的实施例，但是并不旨在限制本发明。对于本领域技术人员来说，对本发明的各种变化和改变是显而易见的。凡在本发明的精神和原则下所作的任何修改、等同替换和改进等均应涵盖在本发明的权利要求范围之内。

Claims (14)

1.一种用于估计工业机器人的调试工具的系统误差的方法，所述工业机器人包括操作工具和应用相机，所述调试工具包括触摸屏和触笔，其特征在于，所述方法包括：

驱动步骤，驱动所述操作工具围绕预设旋转轴旋转，其中，所述预设旋转轴为所述触笔的长轴或平行于所述触笔的长轴；

第一图像获取步骤，在旋转期间获取所述操作工具的多个第一图像；以及

第一偏移计算步骤，根据所述多个第一图像计算所述触笔相对于所述操作工具的第一偏移，以获取所述系统误差。

2.根据权利要求1所述的方法，其特征在于，所述第一偏移计算步骤还包括：

拟合步骤，将所述多个第一图像上的所述操作工具的中心点拟合为弧；以及

半径计算步骤，计算与所述弧相对应的半径，作为所述第一偏移。

3.根据权利要求2所述的方法，其特征在于，还包括：

当所述半径大于预设的第一阈值、或者最后两次计算的半径之间的差值大于预设的第二阈值时，根据所述第一偏移更新所述旋转轴的位置；以及

迭代地执行所述驱动步骤、所述第一图像获取步骤和所述第一偏移计算步骤。

4.根据权利要求1所述的方法，其特征在于，还包括：

第二偏移计算步骤，根据所述触笔的图像计算所述触摸屏中的触摸框架坐标系与显示框架坐标系之间的第二偏移。

5.根据权利要求4所述的方法，其特征在于，所述第二偏移计算步骤还包括：

主点获取步骤，获取所述调试相机的主点；

触笔移动步骤，移动所述触笔，使得在应用相机坐标系中，所述触笔的所述长轴与所述主点在一条直线上，并且所述直线大致垂直于所述调试相机的成像平面；

第二图像获取步骤，获取包含所述长轴的位置的第二图像；以及

偏移向量计算步骤，根据所述第二图像计算所述主点相对于所述长轴的偏移向量，作为第二偏移。

6.根据权利要求5所述的方法，其特征在于，还包括：

当所述第二偏移大于预设的第三阈值、或者最后两次计算的第二偏移之间的差值大于预设的第四阈值时，根据所述第二偏移调整所述触笔的位置；以及

迭代地执行所述触笔移动步骤、所述第二图像获取步骤和所述偏移向量计算步骤。

7.根据权利要求1到6中任一项所述的方法，其特征在于，所述图像由所述调试相机获取。

8.一种用于估计工业机器人的调试工具的系统误差的装置，所述工业机器人包括操作工具和应用相机，所述调试工具包括触摸屏和触笔，其特征在于，所述装置包括：

驱动模块，被布置为驱动所述操作工具围绕预设旋转轴旋转，其中，所述预设旋转轴是所述触笔的长轴或平行于所述触笔的长轴；

第一图像获取模块，被布置为在旋转期间获取所述操作工具的多个第一图像；以及

第一偏移计算模块，被布置为根据所述多个第一图像计算所述触笔相对于所述操作工具的第一偏移，以获取所述系统误差。

9.根据权利要求8所述的装置，其特征在于，所述第一偏移计算模块还包括：

拟合模块，被布置为将所述多个第一图像上的所述操作工具的中心点拟合到弧；以及

半径计算模块，被布置为计算与所述弧相对应的半径，作为所述第一偏移。

10.根据权利要求9所述的装置，其特征在于，还包括：

旋转轴更新模块，被布置为当所述半径大于预设的第一阈值、或者最后两次计算的半径之间的差值大于预设的第二阈值时，根据所述第一偏移更新所述旋转轴的位置。

11.根据权利要求7所述的装置，其特征在于，还包括：

第二偏移计算模块，被布置为根据所述触笔的图像计算所述触摸屏中的触摸框架坐标系与显示框架坐标系之间的第二偏移。

12.根据权利要求11所述的装置，其特征在于，所述第二偏移计算模块还包括：

主点获取模块，被布置为获取所述调试相机的主点；

触笔移动模块，被布置为移动所述触笔，使得在应用相机坐标系中，所述触笔的所述长轴与所述主点在一条直线上，并且所述直线大致垂直于所述调试相机的成像平面；

第二图像获取模块，被布置为获取包含所述长轴的位置的第二图像；以及

偏移向量计算模块，被布置为根据所述第二图像计算所述主点相对于所述长轴的偏移向量，作为第二偏移。

13.根据权利要求12所述的装置，其特征在于，还包括：

触笔位置调整模块，被布置为当所述第二偏移大于预设的第三阈值、或者最后两次计算的第二偏移之间的差值大于预设的第四阈值时，根据所述第二偏移调整所述触笔的位置。

14.根据权利要求8到13中的任一项所述的装置，其特征在于，所述图像由所述调试相机获取。