CN113696190B - 一种示教轨迹点采集方法、装置、机械臂、系统及介质 - Google Patents

Abstract

本发明涉及一种示教轨迹点采集方法、装置、机械臂、系统及介质，方法包括：采集包含标定板的拍摄图像；获取拍摄图像中各定位点在相机的相机坐标系下的第一坐标；获取各定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各定位点的第一坐标以及各定位点的第二坐标，求解示教工具坐标系和相机坐标系之间的第一转换矩阵；获取示教尖端在示教工具坐标系下的第三坐标，根据第一转换矩阵以及预先标定的相机坐标系与世界坐标系的第二转换矩阵，将示教尖端的第三坐标转化为世界坐标系下的第四坐标，并将第四坐标作为示教尖端的一个示教轨迹点的坐标。本发明可以节省成本，从而可以快速推广机器人示教的速度。

Description

一种示教轨迹点采集方法、装置、机械臂、系统及介质

技术领域

本发明涉及示教领域，尤其涉及一种示教轨迹点采集方法、装置、机械臂、系统及介质。

背景技术

机器人在各个行业中的应用越来越广泛，机器人作业相比于人工作业，作业精度、效率都有较大的提高，针对一些需要耗材的场景，例如：喷漆、点胶、焊接等，机器人作业还可以极大地提高了耗材的利用率，降低了耗材的浪费，另外，机器任作业还具有工作空间大，改善工人工作环境等方面有诸多优势。

机器人完成精确动作的前提是操作人员具有较强的编程能力，完成动作控制程序编程，并且输入到机器人中，这就对操作人员的要求非常高，而在生产线上的工人，一般很难完成复杂的动作的编程，进而限制了机器人的应用场景。

为了更加简单对机器人进行控制，现有技术通常采用示教工具或机器人的自由端进行示教，但在现有技术中，机器人示教系统通常需要采用立体空间姿态采集系统（例如动作捕捉相机或激光传感器等）来捕捉示教工具的空间姿态，然后根据空间姿态转换为示教点的位置，但由于动捕相机以及激光光感器的价格极其高昂，使得示教成本始终居高不下，增加了企业的负担，也阻碍了机器人应用的推广。

发明内容

本发明提供了一种示教轨迹点采集方法、装置、机械臂、系统及介质，以解决现有技术在示教时采用空间姿态采集系统存在的成本高的问题。

第一方面，本发明提供一种示教轨迹点采集方法，所述方法用于确定示教工具示教时的示教轨迹点，所述示教工具包括相连接的标定板和示教部件，所述标定板包含至少三个定位点，所述示教部件包含示教尖端，所述示教部件与所述标定板所在平面之间具有夹角，所述方法包括：

通过相机采集包含所述标定板的拍摄图像；

获取所述拍摄图像中各所述定位点在所述相机的相机坐标系下的第一坐标；

获取各所述定位点在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵；

获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

第二方面，本发明提供一种示教方法，所述方法包括：

根据第一方面所述的方法采集至少一个示教轨迹点；

根据预先标定的世界坐标系与机械臂的机械臂坐标系之间的第四转换矩阵将所述示教轨迹点的第四坐标转换为机械臂坐标系下的第五坐标，并将所述第五坐标作为示教尖端的一个复现轨迹点的坐标。

第三方面，本发明提供机械臂运动控制方法，所述方法包括：

根据第二方面所述的方法生成的示教尖端的复现轨迹点的第五坐标；

根据所述复现轨迹点的第五坐标生成所述机械臂的运动控制指令。

第四方面，本发明提供一种示教轨迹点的采集装置，包括用于执行如第一方面所述的示教轨迹点采集方法的单元。

第五方面，本发明提供一种示教装置，包括用于执行如第二方面所述的示教方法的单元。

第六方面，本发明提供一种机械臂，包括用于执行如第三方面所述的机械臂运动控制方法的单元。

第七方面，本发明提供一种控制器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如第一方面所述的示教轨迹点采集方法的步骤，或如第二方面所述的示教方法的步骤，或如第三方面所述的机械臂运动控制方法的步骤。

第八方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的示教轨迹点采集方法的步骤，或如第二方面所述的示教方法的步骤，或如第三方面所述的机械臂运动控制方法的步骤。

第九方面，本发明提供一种示教系统，包括示教工具、相机以及控制器，所述相机与所述控制器连接，所述示教工具包括相连接的标定板和示教部件，所述标定板包含至少三个定位点，所述示教部件包含示教尖端，所述示教部件与所述标定板所在平面之间具有夹角，所述控制器用于执行如第一方面所述的示教轨迹点采集方法的步骤，或如第二方面所述的示教方法的步骤，或如第三方面所述的机械臂运动控制方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

本发明实施例提出的轨迹点采集方法，利用相机拍摄的二维的拍摄图像，就可以对标定板上示教尖端的位置进行定位，采集示教尖端在世界坐标系下轨迹点，与现有技术相比，可以省去立体空间姿态采集系统（例如动作捕捉相机或激光传感器等），相机的成本相比于这些立体空间姿态采集系统，可以大大节省成本，进而可以快速推广机器人示教的速度。

另外，立体空间姿态采集系统在安装时，为了体现立体采集，一般会在一定范围内设置采集设备，例如激光采集，需要至少两个激光传感器；动作捕捉相机，通常需要两个摄像头，这些立体空间姿态采集系统在安装时时，需要额外设置复杂的安装结构及框架，而相机只需要只需一个简单的位置就可以安装，因此，还极大了节省了安装的复杂度，并且对场地的要求，在狭窄的空间内也可以快速部署。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种示教设备的结构示意图；

图2为本发明实施例提供的示教工具的一种结构示意图；

图3为图2的俯视结构示意图；

图4为本发明另一实施例提供的示教工具的俯视图；

图5为本发明实施例提供的一种示教轨迹点采集方法的流程示意图；

图6为本发明实施例提供的示教工具的一种结构示意图；

图7为本发明实施例提供的示教工具的另一种结构示意图；

图8为本发明另一实施例提供的一种示教轨迹点采集方法的流程示意图；

图9为本发明实施例提供的一种示教方法的流程示意图；

图10为本发明实施例提供的一种机械臂运动控制方法的流程示意图；

图11为本发明实施例提供的一种示教轨迹点的采集装置的结构框图；

图12为本发明实施例提供的一种示教装置的结构框图；

图13为本发明实施例提供的一种机械臂的结构框图；

图14为本发明实施例提供的一种控制器的结构框图；

图15为本发明实施例提供的一种示教系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一个实施例

图1为本发明实施例提供的一种示教设备的结构示意图。

在图1中，100为机械臂，200为操作台面，操作台面200可以为一平台，上面用于放置有待加工的零部件或设备。机械臂100的末端的行程可以覆盖操作台面200，并且机械臂100的末端在操作台面200上运动，以对待加工的零部件或设备进行相关操作。操作台面200的上表面在可以称作是操作面。

在具体安装时，一种情况下，机械臂100可以直接固定安装在操作台面200上，在另一种情况下，机械臂100还可以不固定在操作台面200上，而是位于操作台面200旁边，通过支架或其它安装件悬空设置在操作台面200上方，同样可以在操作台面200上运动。

在本发明实施例中，相机11可以为常见光学成像镜头。为了提高轨迹采集的范围，相机11与所述操作台面200之间设置有拍摄距离，如图1所示，相机11与操作台面200之间具有高度差，这样所述操作台面200可以位于所述相机11的拍摄范围内。根据相机11的焦距的实际情况不同，相机11的拍摄范围可以覆盖操作台面200上的部分或全部区域。一种实施例中，相机11的拍摄范围覆盖操作台面200的全部区域，另一种实施例中，操作台面200上设置有有效操作区，有效操作区的面积小于操作台面200的全部区域，进而相机11的拍摄范围可以仅覆盖该有效操作区即可。

在图1中示出了，n时刻和m时刻两个不同时刻的示教工具的姿态。图2为本发明实施例提供的示教工具的一种结构示意图，图3为图2的俯视结构示意图。

如图2和图3所示，该示教工具12包括：标定板121和示教部件122，标定板121和示教部件122相连接，所述示教部件122与所述标定板121所在的平面之间具有夹角，所述标定板121上包含有标定图形，所述示教部件122上设置有示教尖端123。优选地，标定图形设置在所述标定板的一个侧面上，所述示教部件固定在所述标定板的另一侧面上。优选地，示教部件122的形状具体为杆状，以方便用户持握。

示教部件122与所述标定板121所在的平面之间具有夹角，是指示教部件与标定板所在平面不平行，示教部件122与所述标定板121所在的平面之间可以为15度，30度，60度以及90度等，并且示教部件122与标定板121之间的夹角可以根据实际场地需要来设定。可选地，在本发明实施例中，如图2所示，示教部件122与标定板121相垂直。另外，在本发明实施例中，对于标定板121的面积大小，示教部件122的长度，以及标定板121的边长与示教部件121长度之间的比例关系，都没有限定，本领域技术人员可以根据需要自由设定。

进一步地，示教部件122上设有指示灯124以及采集按钮125。采集按钮125用于发出采集触发信号。指示灯124用于指示工作状态。例如，工作时指示灯亮起，不工作时，指示灯熄灭。

在本发明实施例中，标定板121表面上设置有定位点，定位点的数量至少为3个。标定板上的定位点等间距排列。具体地，在本实施例中，如图3所示，标定板上设有黑白棋格阵列图案，黑白棋格阵列图案由多个黑棋格和白棋格阵列排布形成。所述黑白棋格阵列图案的黑棋格和/或白棋格的顶点为定位点。

或者在另一实施例中，参见图4，标定板121上设有等间距实心圆阵列图案，等间距实心圆阵列图案有多个实心圆等间距阵列排布形成。所述实心圆的圆心为定位点。

在本发明实施例中，示教部件122上远离标定板121的一端为示教尖端123，在实际应用个，示教尖端123用于指示示教的点的位置。

在本发明实施例中，如图2所示，示教工具中标定板121可以直接与示教部件122相固定，并且考虑到标定板121与示教部件122之间的位置精度，一般标定板121和示教部件122是焊接固定在一起的。或者，也可以通过卡扣固定，或者紧固件固定，例如螺丝固定。

在图1所示场景中，总共涉及到的坐标系包括世界坐标系、相机坐标系、示教工具坐标系以及机械臂坐标系。如图1所示，图中世界坐标系为（x1，y1，z1），相机坐标系为（x2，y2，z2），示教工具的坐标系为（x3，y3，z3）以及机械臂坐标系（x4，y4，z4）。本发明中，为了描述简便，定义示教工具坐标系和相机坐标系之间的转换矩阵为第一转换矩阵，相机坐标系和世界坐标系之间的转换矩阵为第二转换矩阵，示教工具坐标系和世界坐标系之间的转换矩阵为第三转换矩阵，世界坐标系和机械臂坐标系之间的转换矩阵为第四转换矩阵。

示教工具坐标系是指预先为示教工具建立的坐标系。例如，在本实施例中，以示教工具的标定板上的黑白棋格阵列图案中心点为原点，标定板的长度方向为X轴方向，标定板的宽度方向为Y轴方向，示教部件所在方向为Z轴方向，建立示教工具坐标系。由于示教工具上的定位点以及示教尖端和示教工具坐标系的原点之间的相对位置是固定的，因此，在示教工具坐标系建立后，无论示教工具在空间中的姿态如何变化，示教工具上的定位点以及示教尖端在示教工具坐标系中的坐标都是固定的。本发明实施例中，预先确定并储存示教工具上的定位点以及示教尖端在示教工具坐标系中的坐标。

在相机位置固定后，相机坐标系和世界坐标系之间的第二转换矩阵是固定的。本发明实施例中，预先确定相机坐标系和世界坐标系之间的第二转换矩阵，具体可通过标定相机外参来确定。需要说明的是，相机外参的标定过程为本领域技术人员所熟知，对此本发明不做具体限定。

进一步地，机械臂固定后，世界坐标系和机械臂坐标系之间的第四转换矩阵是固定的。本发明实施例中，预先确定世界坐标系和机械臂坐标系之间的第四转换矩阵，具体的，首先确定世界坐标系下至少3个点的坐标（例如，本实施例中，点的数量为13，点的数量越多，精度越高，相应的计算量越大），然后控制机械臂移动到上述至少3个点，并记录该至少3个点在机械臂坐标系下的坐标，之后根据该至少三个点在世界坐标系下的坐标以及机械臂坐标系下的坐标就可求解出所述第四转换矩阵。

在示教过程中，由于示教工具在空间中的姿态是变化的，因此，示教工具坐标系和相机坐标系之间的第一转换矩阵是变化的。本发明中，通过相机采集示教工具上的定位点在相机坐标系中的坐标。之后根据定位点在相机坐标系中的坐标以及定位点在示教工具坐标系中的坐标求解所述第一转换矩阵。

参见图5，本发明实施例提出一种示教轨迹点采集方法，该用于确定示教工具示教时的示教轨迹点，所述示教工具包括相连接的标定板和示教部件，所述标定板包含至少三个定位点，所述示教部件包含示教尖端，所述示教部件与所述标定板所在平面之间具有夹角。该方法应用于控制器中，所述方法包括如下步骤S101-S104。

S101，通过相机采集包含所述标定板的拍摄图像。

具体实施中，相机朝向操作台面，示教工具在操作台面上运动，通过相机采集包含所述标定板的拍摄图像。采集方式有两种，第一种为控制相机直接拍摄，得到拍摄图像。第二种为控制相机实时拍摄视频，并从相机的视频流中截取至少一帧图像，得到拍摄图像。

在一实施例中，以上步骤S101具体包括如下步骤S201-S202。

S201，判断是否接收到采集触发信号。

具体实施中，采集触发信号用于触发采集拍摄图像。采集触发信号可由用户输入。例如，在一实施例中，示教工具的示教部件上设有采集按钮，用户按下采集按钮即可发出采集触发信号。相应地，控制器实时判断（监控）是否接收到采集触发信号。

在本实施例中，示教部件上的指示灯还用于指示采集状态，例如，在检测到采集按钮按下时，指示灯亮起，否则指示灯熄灭。

S202，若接收到采集触发信号，通过相机采集至少一张包含所述标定板的拍摄图像。

具体实施中，如果接收到采集触发信号，则通过相机采集至少一张包含所述标定板的拍摄图像。例如，可以采集一张，也可以采集多张。

在一实施例中，以上步骤S202具体包括如下步骤S301-S303。

S301，判断所述采集触发信号的持续时间是否大于预设的时间阈值。

具体实施中，实时测量所述采集触发信号的持续时间，并判断所述采集触发信号的持续时间是否大于预设的时间阈值。需要说明的是，时间阈值可有本领域技术人员设定，例如可设定为0.5s，对此，本发明不做具体限定。

S302，若所述采集触发信号的持续时间大于预设的时间阈值，通过相机采集多张包含所述标定板的拍摄图像。

具体实施中，如果所述采集触发信号的持续时间大于预设的时间阈值，此时，进入连续采集模式，即通过相机采集多张包含所述标定板的拍摄图像，例如，可每间隔预设时间采集一张，例如，每间隔0.5s采集一张，即在刚接到采集触发信号时采集一张，之后每间隔0.5s采集一张。

相应地，用户长按采集按钮可使得采集触发信号的持续时间大于预设的时间阈值，从而控制连续采集拍摄图像。

S303，若所述采集触发信号的持续时间不大于预设的时间阈值，通过相机采集一张包含所述标定板的拍摄图像。

具体实施中，如果所述采集触发信号的持续时间不大于预设的时间阈值，此时，进入单张采集模式，即通过相机采集一张包含所述标定板的拍摄图像，例如，可在刚接到采集触发信号时采集一张拍摄图像。

相应地，用户点按采集按钮可使得采集触发信号的持续时间不大于预设的时间阈值，从而控制只采集一张拍摄图像。

S102，获取所述拍摄图像中各所述定位点在所述相机的相机坐标系下的第一坐标。

具体实施中，首先在拍摄图像中建立图像坐标系，并获取所述拍摄图像中各所述定位点在图像坐标系中的坐标，之后根据相机的内参将各所述定位点在图像坐标系中的坐标转换为所述相机的相机坐标系下的坐标。需要说明的是，相机内参的标定过程为本领域技术人员所熟知，对此本发明不做具体限定。

本发明中，为了描述简便，便于区分，将所述定位点在所述相机的相机坐标系下的坐标定义为第一坐标。因此，通过步骤S102可以分别得到各所述定位点在相机坐标系下的第一坐标。

S103，获取各所述定位点在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵。

具体实施中，示教工具坐标系是指预先为示教工具建立的坐标系。由于示教工具上的定位点以及示教尖端和示教工具坐标系的原点之间的相对位置是固定的，因此，在示教工具坐标系建立后，无论示教工具在空间中的姿态如何变化，示教工具上的定位点以及示教尖端在示教工具坐标系中的坐标都是固定的。

本发明实施例中，预先确定并储存示教工具上的定位点以及示教尖端在示教工具坐标系中的坐标。本发明中，为了描述简便，便于区分，将所述定位点在示教工具坐标系中的坐标定义为第二坐标。

可以理解地，坐标系之间坐标的转换可通过坐标系之间的转换矩阵来实现，相应地，若知道同一个点在两坐标系之间的坐标也可以反向求解坐标系之间的转换矩阵。对于三维坐标，至少需要三个点在两坐标系之间的坐标，即可求解坐标系之间的转换矩阵。

本发明实施例中，为了描述简便，便于区分，将所述示教工具坐标系和所述相机坐标系之间的转换矩阵定义为第一转换矩阵。

本发明实施例中，定位点的数量至少为3个，因此，根据至少三个定位点的第一坐标以及第二坐标即可求解所述第一转换矩阵。

需要说明的是，定位点的数量越多，计算的精度越高，同时计算量越大。

在一实施例中，以上步骤S103具体包括如下步骤S401-S402。

S401，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，建立以所述第一转换矩阵为未知数的方程组。

具体实施中，对于，每一个定位点，均根据其的第一坐标和第二坐标建立一个以所述第一转换矩阵为未知数的方程，得到方程组。

S402对所述方程组进行求解，得到所述第一转换矩阵。

具体实施中，求解所述方程组，即可得到所述第一转换矩阵。

S104，获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

具体实施中，为了描述简便，便于区分，将所述示教尖端在所述示教工具坐标系下的坐标定义为第三坐标。将所述示教尖端在世界坐标系下的坐标定义为第四坐标。需要说明的是，示教尖端的第三坐标是预先确定并储存的。

首先，根据第一转换矩阵将第三坐标转换为示教尖端在相机坐标系下的坐标。

之后，根据第二转换矩阵将示教尖端在相机坐标系下的坐标转换为示教尖端在世界坐标系下的坐标。本发明中，为了描述简便，便于区分，将示教尖端在世界坐标系下的坐标定义为第四坐标。

进一步地，将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

需要说明的是，第二转换矩阵具体可通过标定相机外参来确定。相机外参的标定过程为本领域技术人员所熟知，对此本发明不做具体限定。

在一实施例中，以上步骤S104具体包括如下步骤S501-S502。

S501，计算所述第一转换矩阵与所述第二转换矩阵的乘积，得到所述示教工具坐标系和所述世界坐标系之间的第三转换矩阵。

具体实施中，计算所述第一转换矩阵与所述第二转换矩阵的乘积即得到所述示教工具坐标系和所述世界坐标系之间的转换矩阵。本发明中，为了描述简便，便于区分，将所述示教工具坐标系和所述世界坐标系之间的转换矩阵定义为第三转换矩阵。

通过第三转换矩阵可直接将示教工具坐标系下的坐标转换为世界坐标系下的坐标。

S502，根据所述第四转换矩阵将所述示教尖端在所述示教工具坐标系下的第三坐标转化所述世界坐标系下的第四坐标。

具体实施中，在计算得到第三转换矩阵后，计算示教尖端的第三坐标与第三转换矩阵的乘机即可得到示教尖端在世界坐标系下的坐标。本发明中，为了描述简便，便于区分，将示教尖端在世界坐标系下的坐标定义为第四坐标。

本发明实施例提出的示教轨迹点采集方法，利用相机拍摄的二维的拍摄图像，就可以对标定板上示教尖端的位置进行定位，采集示教尖端在世界坐标系下轨迹点，与现有技术相比，可以省去立体空间姿态采集系统（例如动作捕捉相机或激光传感器等），相机的成本相比于这些立体空间姿态采集系统，可以大大节省成本，进而可以快速推广机器人示教的速度。

另外，立体空间姿态采集系统在安装时，为了体现立体采集，一般会在一定范围内设置采集设备，例如激光采集，需要至少两个激光传感器；动作捕捉相机，通常需要两个摄像头，这些立体空间姿态采集系统在安装时时，需要额外设置复杂的安装结构及框架，而相机只需要只需一个简单的位置就可以安装，因此，还极大了节省了安装的复杂度，并且对场地的要求，在狭窄的空间内也可以快速部署。

一个实施例

图6为本发明实施例提供的示教工具的一种结构示意图。图7为本发明实施例提供的示教工具的另一种结构示意图。

在前述实施例中，示教工具上设置有一个标定板，但在具体应用中，当标定板上的标定板倾斜时，如图1中的m时刻，此时相机的拍摄方向与标定板所在平面之间的夹角较小（几乎平行），进而相机获取的标定板的图像无法准确进行标定。为此，考虑到示教工具的移动的灵活性，本发明实施例中，还可以提供一个具有至少两个标定板的示教工具。

具体为，示教工具包括：一个示教部件122和至少两个标定板，其中，所述至少两个标定板均与所述示教部件122的一端相连接，所述示教部件122的另一端为示教尖端123。并且优选地，所述至少两个标定板之间两两相邻，且相邻标定板之间共边。

参见图6和图7所示，图中示教工具包括两个标定板：标定板a和标定板b，标定板a所在的平面和标定板b所在的平面之间设置有夹角，并且标定板a和标定板b之间共边。每个标定板均至少设有三个定位点。

基于图6和图7所示示教场景，本发明提供了一种示教轨迹点采集方法，用于确定利用示教工具示教时的轨迹点。

如图8所示，该示教轨迹点采集方法包括如下步骤：S601-S606。

S601，通过相机采集包含标定板的拍摄图像。

S602，获取所述拍摄图像中的标定板的各定位点在所述相机的相机坐标系下的第一坐标。

具体实施中，分别获取每个标定板的定位点在所述相机的相机坐标系下的第一坐标。

S603，获取所述拍摄图像中每个标定板的图像面积。

具体实施中，首先通过预设的边缘检测算法确定每个标定板的轮廓，之后再分别计算各标定板的面积。

在一实施例中，以上步骤S603具体包括如下步骤S701-S702。

S701，在所述拍摄图像中分别确定各所述标定板的轮廓围出的目标区域。

具体实施中，通过预设的边缘检测算法确定每个标定板的轮廓，进而确定各所述标定板的轮廓围出的目标区域。

S702，分别根据各所述标定板的轮廓围出的目标区域包含的像素的数量确定各所述标定板的图像面积。

具体实施中，分别获取每个所述标定板的轮廓围出的目标区域内包含的像素的数量，由于每个像素的面积是固定的，因此，根据像素的数量即可确定标定板的图像面积。

S604，选取图像面积最大的标定板作为目标标定板。

具体实施中，图像面积越大，其计算误差越小，因此，选取图像面积最大的标定板作为目标标定板，可有效减少误差。

S605，获取所述目标标定板的各定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据所述目标标定板的各定位点的第一坐标以及所述目标标定板的各定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵。

具体实施中，基于目标标定板的各定位点的第一坐标和第二坐标来求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵，由于目标标定板的图像面积是最大的，因此，可有效减少误差。

S606获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

一个实施例

参见图9，本发明实施例提供一种示教方法，该示教方法包括如下步骤S801-S802。

S801，根据上述任一实施例提供的示教轨迹点采集方法采集至少一个示教轨迹点。

具体实施中，通过上述任一个实施例提供的示教轨迹点采集方法，采集至少一个示教轨迹点。示教轨迹点的数量可由本领域技术人员根据实际情况确定，本发明不做具体限定。

S802，根据预先标定的世界坐标系与机械臂的机械臂坐标系之间的第四转换矩阵将所述示教轨迹点的第四坐标转换为机械臂坐标系下的第五坐标，并将所述第五坐标作为示教尖端的一个复现轨迹点的坐标。

具体实施中，预先标定世界坐标系与机械臂的机械臂坐标系之间的转换矩阵，为了描述简便，便于区分，将世界坐标系与机械臂坐标系之间的转换矩阵定义为第四转换矩阵。

具体地，第四转换矩阵的标定方法具体为，首先确定世界坐标系下至少3个点的坐标（例如，本实施例中，点的数量为13且分布均匀，点的数量越多，精度越高，相应的计算量越大），然后控制机械臂移动到上述至少3个点，并记录该至少3个点在机械臂坐标系下的坐标，之后根据该至少三个点在世界坐标系下的坐标以及机械臂坐标系下的坐标就可求解出所述第四转换矩阵。

本发明实施例中，在得到示教尖端的第四坐标（示教轨迹点）后，根据第四转换矩阵将示教尖端的第四坐标转换为示教尖端在机械臂坐标系下坐标，为了描述简便，便于区分，将示教尖端在机械臂坐标系下坐标定义为第五坐标。

进一步地，将所述第五坐标作为所述示教尖端的一个复现轨迹点的坐标。

进一步地，在采集到复现轨迹点后，将所述复现轨迹点的坐标发送给机械臂的控制器，从而机械臂的控制器能够根据复现轨迹点的坐标控制机械臂移动到所述复现轨迹点。

一个实施例

参见图10，本发明实施例提供一种机械臂运动控制方法，该示教方法包括如下步骤S901-S902。

S901，根据上述任一实施例提供的示教方法生成的示教尖端的复现轨迹点的第五坐标。

具体实施中，通过上述任一个实施例提供的示教方法，采集至少一个复现轨迹点的坐标。复现轨迹点的数量可由本领域技术人员根据实际情况确定，本发明不做具体限定。

S902，根据所述复现轨迹点的第五坐标生成所述机械臂的运动控制指令。

具体实施中，根据所述复现轨迹点的第五坐标生成所述机械臂的运动控制指令。具体地，将所述复现轨迹点的第五坐标作为参数写入到预设的机械臂的运动控制程序中，得到所述运动控制指令，运动控制指令用于控制机械臂运动到所述复现轨迹点。

进一步地，若所述复现轨迹点的数量超过1，则根据各所述复现轨迹点的第五坐标拟合示教轨迹。具体地，可通过线（例如，线段或者任意曲线，本领域技术人员可根据实际情况进行拟合，对此本发明不做具体限定）将各复现轨迹点连接，得到示教轨迹。之后，根据所述示教轨迹生成所述机械臂的运动控制指令。该运动控制指令用于控制机械臂沿着所述示教轨迹运动。

参见图11，本发明实施例提供一种示教轨迹点的采集装置70，所述示教轨迹点的采集装置70包括用于执行上述任一实施例所述的示教轨迹点采集方法的单元。具体地，所述示教轨迹点的采集装置70包括第一采集单元71、第一获取单元72、第二获取单元73以及第三获取单元74。

第一采集单元71，用于通过相机采集包含所述标定板的拍摄图像。

第一获取单元72，用于获取所述拍摄图像中各所述定位点在所述相机的相机坐标系下的第一坐标。

第二获取单元73，用于获取各所述定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵。

第三获取单元74，用于获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

在一实施例中，所述通过相机采集包含所述标定板的拍摄图像，包括：

判断是否接收到采集触发信号；

若接收到采集触发信号，通过相机采集至少一张包含所述标定板的拍摄图像。

在一实施例中，所述通过相机采集至少一张包含所述标定板的拍摄图像，包括：

判断所述采集触发信号的持续时间是否大于预设的时间阈值；

若所述采集触发信号的持续时间大于预设的时间阈值，通过相机采集多张包含所述标定板的拍摄图像；

若所述采集触发信号的持续时间不大于预设的时间阈值，通过相机采集一张包含所述标定板的拍摄图像。

在一实施例中，所述示教工具上设置有至少两个标定板，各所述标定板所在平面之间具有夹角，所述拍摄图像中包含有至少两个标定板的图像，所述获取各所述定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵，包括：

获取所述拍摄图像中每个标定板的图像面积；

选取图像面积最大的标定板作为目标标定板；

获取所述目标标定板的各定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据所述目标标定板的各定位点的第一坐标以及所述目标标定板的各定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵。

在一实施例中，所述获取所述拍摄图像中每个标定板的图像面积，包括：

在所述拍摄图像中分别确定各所述标定板的轮廓围出的目标区域；

分别根据各所述标定板的轮廓围出的目标区域包含的像素的数量确定各所述标定板的图像面积。

在一实施例中，所述根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵，包括：

根据各所述定位点的第一坐标以及各所述定位点的第二坐标，建立以所述第一转换矩阵为未知数的方程组；

对所述方程组进行求解，得到所述第一转换矩阵。

在一实施例中，所述获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标，包括：

计算所述第一转换矩阵与所述第二转换矩阵的乘积，得到所述示教工具坐标系和所述世界坐标系之间的第三转换矩阵；

根据所述第三转换矩阵将所述示教尖端在所述示教工具坐标系下的第三坐标转化为所述世界坐标系下的第四坐标。

参见图12，本发明实施例提供一种示教装置80，所述示教装置80包括用于执行上述任一实施例所述的示教方法的单元。具体地，所述示教装置80包括第二采集单元81以及转换单元82。

第二采集单元81，用于根据上述任一实施例提供的示教轨迹点采集方法采集至少一个示教轨迹点。

转换单元82，用于根据预先标定的世界坐标系与机械臂的机械臂坐标系之间的第四转换矩阵将所述示教轨迹点的第四坐标转换为机械臂坐标系下的第五坐标，并将所述第五坐标作为示教尖端的一个复现轨迹点的坐标。

参见图13，本发明实施例提供一种机械臂100，所述机械臂100包括用于执行上述任一实施例所述的机械臂运动控制方法的单元。具体地，所述机械臂100包括生成单元110以及发送单元120。

生成单元110，用于根据上述任一实施例提供的示教方法生成的示教尖端的复现轨迹点的第五坐标。

发送单元120，用于根据所述复现轨迹点的第五坐标生成所述机械臂的运动控制指令。

如图14所示，本发明实施例提供了一种控制器，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。

存储器113，用于存放计算机程序；

在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的示教轨迹点采集方法的步骤，或示教方法的步骤，或机械臂运动控制方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的示教轨迹点采集方法的步骤，或示教方法的步骤，或机械臂运动控制方法的步骤。

参见图15并结合图2，本发明实施例提供一种示教系统，所述示教系统包括示教工具12、相机11以及控制器13，所述相机11与所述控制器13连接，所述示教工具12包括相连接的标定板121和示教部件122，所述标定板121包含至少三个定位点，所述示教部件122包含示教尖端123，所述示教部件122与所述标定板121所在平面之间具有夹角，所述控制器13用于执行前述任意一个方法实施例提供的示教轨迹点采集方法的步骤，或示教方法的步骤，或机械臂运动控制方法的步骤。

进一步地，所述示教系统还包括采集按钮125，所述采集按钮125用于向所述控制器发出采集触发信号。具体地，所述采集按钮125设置在所述示教部件122上。

进一步地，所述示教工具12包括第一控制模块127、第一通信模块126以及电源模块128，所述控制器13包括第二控制模块131以及第二通信模块132。所述采集按钮125与所述第一通信模块126连接，所述第一控制模块127与所述第一通信模块126连接，所述第一通信模块126与所述第二通信模块132无线连接，以实现数据交互。所述第二通信模块132与所述第一控制模块127连接。

所述电源模块128与所述第一控制模块127连接，用于向第一控制模块127供电。

进一步地，相机11包括第三控制模块1102以及第三通信模块1101。第三控制模块1102与第三通信模块1101连接，所述第三通信模块1101与所述第二通信模块132无线连接，以实现数据交互。

进一步地，机械臂100包括第四控制模块1001以及第四通信模块1002。第四控制模块1001与第四通信模块1002连接。所述第四通信模块1102与所述第二通信模块132无线连接，以实现数据交互。

本实施例中，采集按钮设置在示教工具的示教部件上，或者，在其它的一些实施例中，所述示教系统还包括采集触发装置，所述采集按钮设置在所述采集触发装置上。

进一步地，所述示教系统还包括指示灯，指示灯用于指示所述示教系统的工作状态。

参见图2，在本实施例中，指示灯124设于所述示教工具12的示教部件122上。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (20)

1.一种示教轨迹点采集方法，其特征在于，用于确定示教工具示教时的示教轨迹点，所述示教工具包括相连接的标定板和示教部件，所述标定板包含至少三个定位点，所述示教部件包含示教尖端，所述示教部件与所述标定板所在平面之间具有夹角，所述方法包括：

通过相机采集包含所述标定板的拍摄图像；

获取所述拍摄图像中各所述定位点在所述相机的相机坐标系下的第一坐标；

获取各所述定位点在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵；

获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标。

2.根据权利要求1所述的示教轨迹点采集方法，其特征在于，所述标定板上的定位点等间距排列。

3.根据权利要求2所述的示教轨迹点采集方法，其特征在于，所述标定板上设置有黑白棋格阵列图案，所述定位点为所述黑白棋格阵列图案的黑棋格和/或白棋格的顶点；

或者，所述标定板上设置有等间距实心圆阵列图案，所述定位点为所述等间距实心圆阵列图案的实心圆的圆心。

4.根据权利要求1所述的示教轨迹点采集方法，其特征在于，所述通过相机采集包含所述标定板的拍摄图像，包括：

判断是否接收到采集触发信号；

若接收到采集触发信号，通过相机采集至少一张包含所述标定板的拍摄图像。

5.根据权利要求4所述的示教轨迹点采集方法，其特征在于，所述通过相机采集至少一张包含所述标定板的拍摄图像，包括：

判断所述采集触发信号的持续时间是否大于预设的时间阈值；

若所述采集触发信号的持续时间大于预设的时间阈值，通过相机采集多张包含所述标定板的拍摄图像；

若所述采集触发信号的持续时间不大于预设的时间阈值，通过相机采集一张包含所述标定板的拍摄图像。

6.根据权利要求1所述的示教轨迹点采集方法，其特征在于，所述示教工具上设置有至少两个标定板，各所述标定板所在平面之间具有夹角，所述拍摄图像中包含有至少两个标定板的图像，所述获取各所述定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵，包括：

获取所述拍摄图像中每个标定板的图像面积；

选取图像面积最大的标定板作为目标标定板；

获取所述目标标定板的各定位点的在预先为示教工具构建的示教工具坐标系下的第二坐标，根据所述目标标定板的各定位点的第一坐标以及所述目标标定板的各定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵。

7.根据权利要求6所述的示教轨迹点采集方法，其特征在于，所述获取所述拍摄图像中每个标定板的图像面积，包括：

在所述拍摄图像中分别确定各所述标定板的轮廓围出的目标区域；

分别根据各所述标定板的轮廓围出的目标区域包含的像素的数量确定各所述标定板的图像面积。

8.根据权利要求1所述的示教轨迹点采集方法，其特征在于，所述根据各所述定位点的第一坐标以及各所述定位点的第二坐标，求解所述示教工具坐标系和所述相机坐标系之间的第一转换矩阵，包括：

根据各所述定位点的第一坐标以及各所述定位点的第二坐标，建立以所述第一转换矩阵为未知数的方程组；

对所述方程组进行求解，得到所述第一转换矩阵。

9.根据权利要求1所述的示教轨迹点采集方法，其特征在于，所述获取所述示教尖端在所述示教工具坐标系下的第三坐标，根据所述第一转换矩阵以及预先标定的所述相机坐标系与世界坐标系的第二转换矩阵，将所述示教尖端的第三坐标转化为所述世界坐标系下的第四坐标，并将所述第四坐标作为所述示教尖端的一个示教轨迹点的坐标，包括：

计算所述第一转换矩阵与所述第二转换矩阵的乘积，得到所述示教工具坐标系和所述世界坐标系之间的第三转换矩阵；

根据所述第三转换矩阵将所述示教尖端在所述示教工具坐标系下的第三坐标转化为所述世界坐标系下的第四坐标。

10.一种示教方法，其特征在于，包括：

根据权利要求1-9任一项所述的方法采集至少一个示教轨迹点；

根据预先标定的世界坐标系与机械臂的机械臂坐标系之间的第四转换矩阵将所述示教轨迹点的第四坐标转换为机械臂坐标系下的第五坐标，并将所述第五坐标作为示教尖端的一个复现轨迹点的坐标。

11.根据权利要求10所述的示教方法，其特征在于，所述方法还包括：将所述复现轨迹点的坐标发送给机械臂的控制器。

12.一种机械臂运动控制方法，其特征在于，包括：

根据权利要求10-11任一项所述的方法生成示教尖端的复现轨迹点的第五坐标；

根据所述复现轨迹点的第五坐标生成机械臂的运动控制指令。

13.根据权利要求12所述的方法，其特征在于，还包括：

若所述复现轨迹点的数量超过1，则根据各所述复现轨迹点的第五坐标拟合示教轨迹；

根据所述示教轨迹生成所述机械臂的运动控制指令。

14.一种示教轨迹点的采集装置，其特征在于，包括用于执行如权利要求1-9任一项所述的示教轨迹点采集方法的单元。

15.一种示教装置，其特征在于，包括用于执行如权利要求10-11任一项所述的示教方法的单元。

16.一种机械臂，其特征在于，包括用于执行如权利要求12-13任一项所述的机械臂运动控制方法的单元。

17.一种控制器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如权利要求1-9任一项所述的示教轨迹点采集方法的步骤，或如权利要求10-11任一项所述的示教方法的步骤，或如权利要求12-13任一项所述的机械臂运动控制方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的示教轨迹点采集方法的步骤，或如权利要求10-11任一项所述的示教方法的步骤，或如权利要求12-13任一项所述的机械臂运动控制方法的步骤。

19.一种示教系统，其特征在于，包括示教工具、相机以及控制器，所述相机与所述控制器连接，所述示教工具包括相连接的标定板和示教部件，所述标定板包含至少三个定位点，所述示教部件包含示教尖端，所述示教部件与所述标定板所在平面之间具有夹角，所述控制器用于执行如权利要求1-9任一项所述的示教轨迹点采集方法的步骤，或如权利要求10-11任一项所述的示教方法的步骤，或如权利要求12-13任一项所述的机械臂运动控制方法的步骤。

20.根据权利要求19所述的示教系统，其特征在于，还包括采集按钮，所述采集按钮设置在所述示教部件上，所述采集按钮用于向所述控制器发出采集触发信号。

Images