CN109318235B - 一种机器人视觉伺服系统的快速聚焦方法 - Google Patents

Abstract

一种机器人视觉伺服系统的快速聚焦方法，属于图像处理领域。现有的机械式聚焦技术，存在变焦能力差、速度慢的问题，难以满足视觉伺服实时性要求。本发明方法为机器人机械臂末端相机安装液态镜头；多次采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离数据；确定最大锐度的图像及对应的液态镜头的电流以及相机与目标物体之间的距离数据；重复上述内容，获得多组最大锐度的电流及距离数据，建立最大锐度的电流与距离之间的关系模型，通过系统辨识方法得到模型参数；利用建立的关系模型，结合距离信息，得到液态镜头变焦所需的电流值，进而控制液态镜头进行变焦。本发明方法保证视觉伺服系统的快速聚焦，和目标物体成像清晰度。

Description

一种机器人视觉伺服系统的快速聚焦方法

技术领域

本发明涉及一种聚焦方法，特别涉及一种机器人视觉伺服系统的快速聚焦方法。

背景技术

使用相机获取图像，并对图像进行处理，分析和理解，从而给机器人提供反馈信息，对机器人进行控制的技术称为视觉伺服技术。目前，随着无人工厂概念的提出与发展，视觉伺服技术在工业中使用越来越广泛。将相机安装在机器人末端的视觉伺服系统，最大特点是相机将随机器人末端一起运动，图像变化迅速。在视觉伺服系统中，图像的清晰程度决定了视觉伺服中机器人控制的稳定性和精度。因此我们需要在机器人移动过程中，相机可以实时快速变焦，获取清晰的图像，从而可以保证视觉伺服的稳定性。传统的机械式聚焦技术，通过计算图像的清晰度，改变感光片的位置，调整透镜与感光片之间距离的方法，变焦能力差，速度慢，难以满足视觉伺服实时性条件。为此，需要为相机安装在机器人末端位置的视觉伺服系统提供一种快速的自动聚焦技术，满足视觉伺服对实时性以及图像清晰度的要求。

发明内容

本发明的目的是为了解决现有的机械式聚焦技术，存在变焦能力差、速度慢的问题，难以满足视觉伺服实时性要求，而提出一种机器人视觉伺服系统的快速聚焦方法。

一种机器人视觉伺服系统的快速聚焦方法，所述方法为，首先，采集多组最大锐度下的电流，以及相机距离目标物体的距离数据；然后，建立电流与距离之间的关系模型，并通过系统辨识和参数拟合方法确定模型中的未知参数，确定最终的关系模型；最后，获得相机与目标物体间的距离数据，代入确定的最终的关系模型，反推液态镜头变焦所需要的电流值，进而控制液态镜头进行变焦。具体包括以下步骤：

步骤一、将相机安装在机器人的机械臂末端，使相机能够随机械臂一起移动，并能利用相机采集目标物体图像的程度；之后为相机安装液态镜头，调节液态镜头的电流为零；

步骤二、移动机器人至位形空间内的位置，多次调整电流并采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离数据；位形空间内，是指机器人进行正常目标物体拍摄工作的位置；

步骤二一、将机器人移动至机械臂的位形空间内，调节机械臂末端安装的相机至可拍摄目标物体的位置，将液态镜头的电流设置为零，调节相机，使相机视野内图像清晰；

步骤二二、移动机械臂，计算此时相机距离目标物体顶部表面的垂直距离；且小步长调节电流，观察锐度变化值，直到得到锐度最大时的电流，记录此时电流和距离数据；

步骤二三、多次重复步骤步骤二二，获取多组电流与距离数据；

步骤三、计算获得的图像的锐度，确定获得的图像中具有最大锐度的图像，并确定具有最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离数据；

步骤四、重复步骤二和步骤三的内容，获得多组最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离数据，以建立确定出的最大锐度的图像对应的电流与距离之间的关系模型，通过系统辨识的方法得到模型参数；

步骤四一、根据液态镜头焦距和电流关系以及透镜投影的物理定律，建立如下电流与距离关系模型公式：

式中，i表示电流值，d为距离值，p、q表示待估计的常量参数；

步骤四二、根据获得的电流与距离数据，对建立的电流与距离关系模型进行辨识，对参数进行拟合，确定参数p、q的数值；

步骤五、利用步骤四建立的关系模型，结合得到的距离信息，即得到液态镜头变焦所需要的电流值，进而控制液态镜头进行变焦；

本发明的有益效果为：

本发明适用于机器人机械臂末端设置的视觉伺服系统，首先建立快速聚焦的数学模型，然后对数学模型进行拟合消除未知常量进而得到距离与电流关系式，利用距离与电流关系式，结合机器人模型得到距离信息，快速得到液态镜头变焦所需要的电流值，进而控制液态镜头进行快速变焦，实现相机快速聚焦，为视觉伺服系统提供实时清晰的图像，且能保证图像清晰度。相机快速自动聚焦时长缩短80-90％。

附图说明

图1为本发明的流程图；

图2为本发明涉及的伺服装置的结构示意图；

图3为本发明涉及的锐度与清晰度关系图；图中，横坐标表示电流；纵坐标表示锐度值；

图4为本发明涉及的建立的电流与距离模型的参数辨识拟合效果图；图中，横坐标表示距离；纵坐标表示电流；

具体实施方式

具体实施方式一：

本实施方式的一种机器人视觉伺服系统的快速聚焦方法，所述方法为，首先，采集多组最大锐度下的液态相机的电流，以及液态相机距离目标物体的距离数据；然后，建立电流与距离之间的关系模型，并通过系统辨识和参数拟合方法确定模型中的未知参数，确定最终的关系模型；最后，获得相机与目标物体间的距离数据，代入确定的最终的关系模型，反推液态镜头变焦所需要的电流值，进而控制液态镜头进行实时变焦。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种机器人视觉伺服系统的快速聚焦方法，如图1所示的流程图，所述方法包括以下步骤：

步骤一、将相机安装在机器人的机械臂末端，使相机能够随机械臂一起移动，并能利用相机采集目标物体图像的程度；之后为相机安装液态镜头，调节液态镜头的电流为零；

步骤二、移动机器人至位形空间内能进行目标物体拍摄工作的位置，多次调整电流并采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离数据；位形空间内，是指机器人进行正常目标物体拍摄工作的位置；

步骤三、计算获得的图像的锐度，确定获得的图像中具有最大锐度的图像，并确定具有最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离数据；

步骤四、重复步骤二和步骤三的内容，获得多组最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离数据，以建立确定出的最大锐度的图像对应的电流与距离之间的关系模型，通过系统辨识的方法得到模型参数；

步骤五、利用步骤四建立的关系模型，结合通过机器人模型得到的距离信息，即快速得到液态镜头变焦所需要的电流值，进而控制液态镜头进行快速变焦，实现相机快速聚焦，为视觉伺服系统提供实时清晰的图像。

具体实施方式三：

与具体实施方式二不同的是，本实施方式的一种机器人视觉伺服系统的快速聚焦方法，所述的步骤二中移动机器人至位形空间内能进行目标物体拍摄工作的位置，多次调整电流并采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离数据的过程为：

步骤二一、将机器人移动至机械臂的位形空间内，调节机械臂末端安装的相机至可拍摄目标物体的位置，将液态镜头的电流设置为零，调节相机，使相机视野内图像具有较好的清晰度；

步骤二二、移动机械臂，根据机器人模型计算此时相机距离目标物体顶部表面的垂直距离；且小步长调节电流，观察锐度变化值，直到得到锐度最大时的电流，记录此时电流和距离数据；

步骤二三、多次重复步骤二二，获取多组电流与距离数据。

具体实施方式四：

与具体实施方式二或三不同的是，本实施方式的一种机器人视觉伺服系统的快速聚焦方法，所述的步骤三中确定获得的图像中具有最大锐度的图像的过程中，其中确定最大锐度的方法为：

图3显示了不同锐度下图片的清晰程度。可以看出，锐度越高，图像越清晰。

构建下式的图像锐度计算方法：

其中，(x,y)表示图片上的像素点的坐标；L(x,y)表示图像的锐度，I(x,y)是在图片坐标(x,y)位置处的像素值，I(i,y)表示在图片坐标(i,y)处的像素值；I(x,j)表示在图片坐标(x,j)处的像素值；i、j分别表示图像上点(i,y)和(x,j)的横、纵坐标；参数J和K是图像的高度和宽度；G(x,y)表示点(x,y)的锐度值。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种机器人视觉伺服系统的快速聚焦方法，所述的步骤四中建立确定出的最大锐度的图像对应的电流与距离之间的关系模型，通过系统辨识方法得到模型参数的过程为：

步骤四一、根据液态镜头焦距和电流关系以及透镜投影的物理定律，建立如下电流与距离关系模型公式：

式中，i表示电流值，d为距离值，p、q表示待估计的常量参数；

步骤四二、根据获得的电流与距离数据，对建立的电流与距离关系模型进行辨识，对参数进行拟合，确定参数p、q的数值；图4示意了拟合过程。

实施例1：

本发明的一种机器人视觉伺服系统的快速聚焦方法适用于相机安装在机器人末端位置的视觉伺服系统，如图2所示。该系统使用相机进行图像采集，计算机进行图像锐度的计算，以及峰值电流的寻找，同时由已知的机器人模型读取距离信息。通过进行大量的实验，获得足够多的距离-电流数据，然后使用实验获取的数据对建立的模型进行参数辨识，最终得到快速聚焦的算法。

如图2所示，系统装置包括工业机器人，附图标记为1；USB工业相机，附图标记为2；工业镜头，附图标记为3；液态镜头，附图标记为4；目标物体，附图标记为5；LED辅助光源组，附图标记为6。

本实施例使用6轴工业机器人1，将液态镜头4安装在机器人1的机械臂末端位置。机器人1的机械臂末端水平朝下，同时液态镜头1也保持水平向下，待识别目标物体5在机器人1下方，因此可以由机器人模型很容易得到机器人1末端距离目标物体5的距离。本实例中，待识别目标物体5使用为电源口，如图2所示。为增强相机聚焦能力，首先使用了工业镜头3，同时使用液态镜头4，使得镜头具有变焦能力。采用两组辅助光源6，保证目标物体5在相同的光照环境中。镜头变焦由PC机通过USB端口控制。

首先进行数据的采集。

步骤1：首先按照图2安装装置。调节普通镜头的光圈大小，保证在未安装液态镜头的时候，相机有正常的进光量，即此时相机采集的图片较清晰，亮度正常。然后安装液态镜头4。

步骤2：计算图像锐度，同时改变电流，寻找锐度最大值以及对应的液态相机的电流。程序流程如图1所示。图像锐度计算公式如下式(1)，(2)

其中，(x,y)表示图片上的像素点的坐标；L(x,y)表示图像的锐度，I(x,y)是在图片坐标(x,y)位置处的像素值，I(i,y)表示在图片坐标(i,y)处的像素值；I(x,j)表示在图片坐标(x,j)处的像素值；i、j分别表示图像上点(i,y)和(x,j)的横、纵坐标；参数J和K是图像的高度和宽度；G(x,y)表示点(x,y)的锐度值。图3所示为不同锐度下图片的清晰程度。可以看出，锐度越高，图像越清晰。

步骤3：记录此时读取机器人末端距离目标物体的距离，同时记录此时变焦镜头的电流值。

步骤4：移动机器人，重复步骤2与步骤3。进行30次试验，获得30组距离-电流数据。

获得数据后，进行模型建立和参数辨识：

(Ⅰ)根据液态镜头焦距和电流关系以及透镜投影的物理定律，建立如下电流与距离关系模型公式：

式中，i表示电流值，d为距离值，p、q表示待估计的常量参数；

(Ⅱ)根据获得的电流与距离数据，对建立的电流与距离关系模型进行辨识，对参数进行拟合，确定参数p、q的数值；图4示意了拟合过程。

步骤5：利用建立的关系模型，结合机器人模型得到距离信息，即快速得到液态镜头变焦所需要的电流值，进而控制液态镜头进行快速变焦，实现相机快速聚焦，为视觉伺服系统提供实时清晰的图像。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (2)

1.一种机器人视觉伺服系统的快速聚焦方法，其特征在于：所述方法包括以下步骤：

步骤一、将相机安装在机器人的机械臂末端，使相机能够随机械臂一起移动，并能利用相机采集目标物体图像；之后为相机安装液态镜头，调节液态镜头的电流为零；

步骤二、移动机器人至位形空间内的位置，多次调整电流并采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离；位形空间内，是指机器人能够对目标物体进行正常拍摄工作的位置；

步骤三、计算获得的图像的锐度，确定获得的图像中具有最大锐度的图像，并确定具有最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离；步骤三中确定获得的图像中具有最大锐度的图像的过程中，其中确定最大锐度的方法为：

构建下式的图像锐度计算方法：

其中，(x,y)表示图像上的像素点的坐标；L(x,y)表示图像的锐度，I(x,y)是在(x,y)位置处的像素值，I(i,y)表示在(i,y)处的像素值；I(x,j)表示在(x,j)处的像素值；i、j分别表示图像上点(i,y)和(x,j)的横、纵坐标；参数J和K是图像的高度和宽度；G(x,y)表示点(x,y)的锐度值；

步骤四、重复步骤二和步骤三，获得多组最大锐度的图像对应的液态镜头的电流以及相机与目标物体之间的距离，以建立确定出的最大锐度的图像对应的电流与距离关系模型，通过系统辨识得到模型的常量参数；

通过系统辨识得到模型的常量参数的过程为：

步骤四一、根据液态镜头焦距和电流关系以及透镜投影的物理定律，建立如下电流与距离关系模型公式：

式中，i表示电流值，d为距离，p、q表示待估计的常量参数；

步骤四二、根据获得的电流与距离，对建立的电流与距离关系模型进行辨识，对常量参数进行拟合，确定常量参数p、q的数值；

步骤五、利用步骤四建立的关系模型，结合获得的距离，即得到液态镜头变焦所需要的电流值，进而控制液态镜头进行变焦。

2.根据权利要求1所述的一种机器人视觉伺服系统的快速聚焦方法，其特征在于：所述的步骤二中移动机器人至位形空间内的位置，多次调整电流并采集获得图像时的液态镜头的电流，以及相机与目标物体之间的距离的过程为：

步骤二一、将机器人移动至机械臂的位形空间内，调节机械臂末端安装的相机至可拍摄目标物体的位置，将液态镜头的电流设置为零，调节相机，使相机视野内图像清晰；

步骤二二、移动机械臂，计算此时相机距离目标物体顶部表面的垂直距离；且小步长调节电流，观察锐度变化值，直到得到锐度最大时的电流，记录此时电流和距离；

步骤二三、多次重复步骤二二，获取多组电流与距离。

Images