CN107633501A - 机器视觉的图像识别定位方法 - Google Patents

Abstract

本发明公开了一种机器视觉的图像识别定位方法，通过图像处理器在相机视场中选择跟踪目标，以跟踪目标作为执行滤波算法的基准，在跟踪目标作的周围进行目标工件搜索，对搜索识别到的目标工件作为非跟踪目标，建立非跟踪目标与跟踪目标之间的定位关系，并同时将跟踪目标及非跟踪目标的位姿信息输出至机器人控制器，图像处理器对此后拍照的图像中满足与跟踪目标之间定位关系的非跟踪目标将被过滤掉，不再重复输出非跟踪目标的位姿信息给机器人控制器，避免对同一目标工件的重复输出给机器人控制器，进而避免机器人控制器对同一目标工件进行重复预测其待抓取位置等计算及机器人作出重复抓取动作，也可对相机视场侧边进入的目标工件进行识别定位。

Description

机器视觉的图像识别定位方法

【技术领域】

本发明涉及一种图像识别定位技术，尤其是指用于识别定位传送带上目标工件的一种机器视觉的图像识别定位方法。

【背景技术】

机器视觉系统具有精度高、连续性好、灵活性强的优点，是实现仪器设备精密控制、智能化、自动化的有效途径，因此在现代工业自动化生产中，机器视觉被广泛应用在各种各样的检验、生产监视及零件识别应用中，例如零配件批量加工的尺寸检查，自动装配的完整性检查，电子装配线的元件自动定位，工业机器人定位引导等。

目前应用在自动化生产线上的机器视觉系统，一般是由自动控制系统控制工业相机按照设定的时间间隔固定拍照，机器视觉系统处理软件对接收到的图像数据进行处理，识别自动化生产线上的产品，但是由于光源的位置，物体的几何形状、表面纹理以及自动化生产线速度突变等因素，会影响机器视觉系统识别的准确度，导致机器视觉系统对产品的漏识别或重复识别输出情况经常发生。

因此，有必要设计一种机器视觉的图像识别定位方法，以克服上述问题。

【发明内容】

本发明的创作目的在于提供一种机器视觉的图像识别定位方法，防止对目标工件的漏识别或重复识别输出。

为了达到上述目的，本发明采用如下技术方案：

一种机器视觉的图像识别定位方法，包括以下步骤：

步骤S1：相机连续触发拍照，相机对进入其视场的目标工件进行图像采集传送至图像处理器，图像处理器识别定位出现在相机视场中的一个目标工件作为跟踪目标，且不断刷新跟踪目标在相机视场的位姿信息；

步骤S2：以跟踪目标作为执行滤波算法的基准，图像处理器在跟踪目标周围进行目标工件搜索，对搜索识别到的目标工件作为非跟踪目标，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标与非跟踪目标的位姿信息输出至机器人控制器，此后图像处理器对图像中满足与跟踪目标之间定位关系的非跟踪目标将被过滤掉，不再重复输出非跟踪目标的位姿信息给机器人控制器；

步骤S3：跟踪目标完全出了相机视场后，图像处理器重新寻找进入相机视场未与跟踪目标定位的目标工件作为相机的新跟踪目标，重复上述操作。

进一步，相机视场根据目标工件在传送带上的运行方向分为三个不重叠的视场区域，依次为第一视场区域、第二视场区域及第三视场区域，图像处理器在第一视场区域进行跟踪目标确定及其位姿更新，跟踪目标进入第二视场区域后，图像处理器在跟踪目标周围进行多目标工件搜索，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标与非跟踪目标的位姿信息传送给机器人控制器，在进入第三视场区域后，机器人控制器根据已获得的目标工件的位姿信息预测最靠近机器人抓取范围的目标工件处于待抓取时的位置与偏转角度。

进一步，第一视场区域与第二视场区域的分界线为整个相机视场的二分之一处，第二视场区域与第三视场区域的分界线为整个相机视场的四分之三处。

进一步，在步骤2中，跟踪目标为最靠近第一、第二视场区域的分界线的目标工件。

进一步，在步骤2中，以跟踪目标为基准，图像处理器在跟踪目标周围进行目标工件搜索，搜索范围为第二视场区域与第三视场区域。

进一步，对在相机视场中且同时跟前后两个跟踪目标具有定位关系的目标工件，图像处理器根据目标工件的速度与前后两次拍照时刻过滤相同目标工件的位姿信息对机器人控制器的重复输出。

进一步，在步骤1之前测目标工件的速度，当目标工件刚进入相机视场后，点击拍照记录目标工件在一个点的时刻及其在机器人坐标系下的坐标(t₁，X₁，Y₁)，当目标工件即将离开相机视场时，点击拍照记录目标工件在另一个点的时刻及其在机器人坐标系下的坐标(t₂，X₂，Y₂)，利用两组坐标计算得到目标工件的空间速度V_帶矢量。

进一步，在步骤1之前，图像处理器需对相机采集到的目标工件图像进行处理，并进行特征检测，确定目标工件的特征模板，作为识别算法的依据。

与现有技术相比，本发明通过图像处理器在相机视场中选择跟踪目标，并以此跟踪目标作为执行相关滤波算法的基准，在跟踪目标作的周围进行目标工件搜索，将跟踪目标周围搜索识别到的目标工件作为非跟踪目标，建立非跟踪目标与跟踪目标之间的定位关系，并同时将作为跟踪目标及非跟踪目标的目标工件的位姿信息输出至机器人控制器，图像处理器对此后多次拍照所得图像中满足与跟踪目标之间定位关系的非跟踪目标将被过滤掉，不再重复输出非跟踪目标的位姿信息给机器人控制器，如此可避免对同一目标工件的重复输出给机器人控制器，进而避免机器人控制器对同一目标工件进行重复预测其待抓取位置等计算及机器人作出重复抓取动作，也可对相机视场侧边进入的目标工件进行识别定位，后期满足抓取条件也可对侧边进入相机视场的目标工件进行抓取。

【附图说明】

图1为本发明运用于传送带上目标工件的抓取系统的立体示意图；

图2为图1抓取系统的结构框架示意图；

图3为本发明机器视觉的图像识别定位方法的流程图；

图4为在相机视场中跟踪目标与其周围非跟踪目标之间的定位关系示意图；

图5为在相机视场中且与前后两个跟踪目标有定位关系的目标工件示意图。

具体实施方式的附图标号说明：

传送带 1 光源 2 相机 3

工业计算机 4 图像处理器 41 机器人控制器 42

存储器 43 机器人 5 末端执行器 51

目标工件 6 相机支架 7 运行方向 F

相机视场 A 第一视场区域 A1 第二视场区域 A2

第三视场区域 A3 第一分界线 L1 第二分界线 L2

跟踪目标 G_base 非跟踪目标 G_aro 重复定位目标 G_aga

抓取范围 W 抓取位置 P_sna 目标点位置 P_end

【具体实施方式】

为便于更好的理解本发明的目的、结构、特征以及功效等，现结合附图和具体实施方式对本发明作进一步说明。

请参阅图1和图2，本发明运用于传送带上目标工件的抓取系统，该抓取系统包括：传送带1、光源2、相机3、工业计算机4、机器人5和目标工件6。机器人5为六自由度机器人，且安装于传送带1的一端，在机器人5的末端法兰盘上装有末端执行器51，在本实施例中，末端执行器51为一抓手。相机3安装于传送带1的一端的相机支架7上，相机3位于机器人5的上游且垂直正对传送带1上的目标工件6。光源2安装于相机3的下方，在本实施例中，光源2为一种光电开关。光源2、相机3、工业计算机4和机器人5依次电气连接。工业计算机4包括图像处理器41、机器人控制器42及存储器43，存储器43连接图像处理器41，图像处理器41连接机器人控制器42。

请参阅图1、图2和图3，本发明的一种机器视觉的图像识别定位方法，包括如下步骤：

步骤S1：相机3连续触发拍照，相机3对进入其视场的目标工件6进行图像采集传送至图像处理器41，图像处理器41识别、定位出现在相机视场A中的一个目标工件6作为相机3的跟踪目标G_base，图像处理器41暂不将跟踪目标G_base的位置信息和偏转角度传给机器人控制器42，且不断刷新跟踪目标G_base在相机视场A的位姿信息；

步骤S2：以跟踪目标G_base作为执行相关滤波算法的基准，图像处理器41在跟踪目标G_base周围进行目标工件6搜索，对搜索识别到的目标工件6作为非跟踪目标G_aro，建立非跟踪目标G_aro与跟踪目标G_base之间的定位关系，并将识别到的非跟踪目标G_aro与跟踪目标G_base的位姿信息输出至机器人控制器42，此后图像处理器41对图像中满足与跟踪目标G_base之间定位关系的非跟踪目标G_aro将被过滤掉，不再重复输出非跟踪目标G_aro的位姿信息给机器人控制42；

步骤S3：跟踪目标G_base完全出了相机视场后，图像处理器41重新寻找进入相机视场A未与跟踪目标G_base定位的目标工件6作为相机3的新跟踪目标，重复上述操作。

上述步骤的具体操作如下：

请参阅图1和图2，在开始进行目标工件6的采集图像前，需要进行相机3与机器人5的位置关系建立两者之间的坐标映射公式，通过相机3建立目标工件6与机器人5之间的相对位姿关系，并确定末端执行器51在传送带1上的抓取范围W；然后还需要图像处理器41对相机3采集到的目标工件图像进行处理，并进行特征检测，确定目标工件6的特征模板，作为用以识别算法的依据；最后需测传送带1的速度，即目标工件6的速度。

请参阅图1和图2，其中，目标工件6的模板建立具体如下：光源2开启，当目标工件6通过时，触发相机3采集经传送带1送入相机视场A的多帧目标工件图像并记录每帧图像的拍照时刻，将图像传送到工业计算机4进行图像平滑滤波操作，系统噪声主要是由传送带1反光、CCD电路和工业现场环境引起的随机噪声。图像滤波采用均值滤波方法，降低噪声的影响，均值滤波方法是将原图中一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后求得的平均值。经过均值滤波后，图像噪声得到平滑。在预处理后的图像中提取目标工件6的灰度特征模板，并进行特征检测，确定目标工件6的特征模板，并将特征模板存放于存储器43中，作为识别算法的依据。

请参阅图1和图2，测传送带1的速度具体操作如下：通过目标工件6刚进入相机视场A后，点击拍照记录目标工件6在一个点的时刻及其在机器人坐标系下的坐标(t₁，X₁，Y₁)，当目标工件6即将离开相机视场A时，点击拍照记录目标工件6在另一个点的时刻及其在机器人坐标系下的坐标(t₂，X₂，Y₂)，利用两组坐标计算得到传送带1的空间速度V_帶矢量。

请参阅图2和图4，在本实施例中，相机视场A根据目标工件6在传送带1上的运行方向F分为三个不重叠的视场区域，依次为第一视场区域A1、第二视场区域A2及第三视场区域A3，第一视场区域A1与第二视场区域A2的第一分界线L1为整个相机视场A的二分之一处，第二视场区域A2与第三视场区域A3的第二分界线L2为整个相机视场A的四分之三处。

请参阅图2和图4，当传送带1以速度V_帶运行，目标工件6随着传送带1以相对静止的状态运行时，相机3连续触发拍照，图像处理器41根据目标工件6的特征模板，首先识别定位出现在第一视场区域A1中的目标工件6，如果有多个目标工件6，图像处理器41选择以最靠近第一分界线L1的一个目标工件6作为相机3的跟踪目标G_base，且图像处理器41暂不将跟踪目标G_base的位置信息和偏转角度传给机器人控制器42，并在第一视场区域A1中不断刷新跟踪目标G_base的位姿。

请参阅图2和图4，当跟踪目标G_base进入第二视场区域A2后，以跟踪目标G_base作为执行相关滤波算法的基准，即以跟踪目标G_base为基准，图像处理器41在跟踪目标G_base周围进行目标工件6搜索，将跟踪目标G_base周围搜索识别到的目标工件6作为非跟踪目标G_aro，建立非跟踪目标G_aro与跟踪目标G_base之间的定位关系，例如作为非跟踪目标G_aro在跟踪目标G_base的什么方位及两者之间的距离为多长。根据目标工件6与机器人5的位姿关系，图像处理器41将识别定位到的非跟踪目标G_aro与跟踪目标Gb_ase在拍照时刻的位置(X，Y，Z)及偏转角度θ映射到机器人5的坐标系中，得到识别到的非跟踪目标G_aro与跟踪目标G_base的位姿在机器人坐标系中的表示(X_b，Y_b，Z_b)和θ_b，并同时将作为跟踪目标G_base及非跟踪目标G_aro的目标工件6的位姿信息输出至机器人控制器42，图像处理器41对此后多次拍照所得图像中满足与跟踪目标G_base之间定位关系的非跟踪目标G_aro将被过滤掉，不再重复输出非跟踪目标G_aro的位姿信息给机器人控制器42。在本实施例中，图像处理器41的搜索范围随着跟踪目标G_base的移动发生变化，主要以第一分界线L1为界限，即搜索范围为第二视场区域A2及第三视场区域A3，当跟踪目标G_base完全出了相机视场A的那一刻，对除了第一视场区域A1的其它视场区域的目标工件6都与跟踪目标G_base确定了定位关系，避免图像处理器41对出现在相机视场A中且第一分界线L1下游的目标工件6的漏识别。

请参阅图1、图2和图4，当跟踪目标G_base进入第三视场区域A3后，机器人控制器42根据已获得的目标工件6的位姿信息预测最靠近抓取范围W的目标工件6处于待抓取时的抓取位置P_sna与偏转角度，若机器人控制器42判定预测的待抓取位置位于机器人5的抓取范围W内，则发出抓取并将待抓取的目标工件6放置在目标点位置P_end的命令；反之则放弃抓取。其中，放弃抓取则有两种情况，第一种情况是抓取位置P_sna位于抓取范围W的下游，则机器人控制器42不会发出命令去抓取预测的目标工件6，即该预测的目标工件6将会丢失；第二种情况是抓取位置P_sna位于抓取范围W的上游，则机器人控制器42将会等待，当预测的目标工件6运行一段距离之后使抓取位置P_sna进入抓取范围W，再发出命令使末端执行器51开始运动。

请参阅图2和图4，当跟踪目标G_base完全出了相机视场A后，图像处理器41重新寻找进入相机视场A未与跟踪目标G_base定位的目标工件6作为相机3的新跟踪目标，重复上述操作。

请参阅图5，当多个目标工件6在相机视场A中较集中的情况出现时，会存在相机视场A出现同时跟前后两个跟踪目标G_base具有定位关系的目标工件6，即前一个跟踪目标G_base出了相机视场A，与之具有定位关系的目标工件6还留在相机视场A中，将具有多个定位关系的目标工件6定义为重复定位目标G_aga，此时相机视场A中的新跟踪目标G_base也到达第二视场区域A2，如此新跟踪目标G_base会建立与留在相机视场A中的重复定位目标G_aga建立定位关系，重复定位目标G_aga只会出现在新跟踪目标G_base的下游位置，如此图像处理器41会根据重复定位目标G_aga的速度与前后两次拍照的时刻，判定位于新跟踪目标G_base下游的重复定位目标G_aga的位姿信息已经输出给机器人控制器42，如此做出不再重复输出的指令。

综上所述，本发明机器视觉的图像识别定位方法具有以下有益效果：

1、图像处理器41在相机视场A中选择相机3的跟踪目标G_base，并以此跟踪目标G_base作为执行相关滤波算法的基准，即在跟踪目标作G_base的周围进行目标工件6搜索，将跟踪目标G_base周围搜索识别到的目标工件6作为非跟踪目标G_aro，建立非跟踪目标G_aro与跟踪目标G_base之间的定位关系，并同时将作为跟踪目标G_base及非跟踪目标G_aro的目标工件6的位姿信息输出至机器人控制器42，图像处理器41对此后多次拍照所得图像中满足与跟踪目标G_base之间定位关系的非跟踪目标G_aro将被过滤掉，不再重复输出非跟踪目标G_aro的位姿信息给机器人控制器42，如此可避免对同一目标工件6的重复输出给机器人控制器42，进而避免机器人控制器42对同一目标工件6进行重复预测其待抓取位置等计算及机器人5作出重复抓取动作，也可对相机视场A侧边进入的目标工件6进行识别定位，后期满足抓取条件也可对侧边进入相机视场A的目标工件6进行抓取。

以上详细说明仅为本发明之较佳实施例的说明，非因此局限本发明之专利范围，所以，凡运用本创作说明书及图示内容所为之等效技术变化，均包含于本创作之专利范围内。

Claims (8)

1.一种机器视觉的图像识别定位方法，机器视觉用于识别定位传送带上的目标工件，其特征在于，包括以下步骤：

步骤S1：相机连续触发拍照，相机对进入其视场的目标工件进行图像采集传送至图像处理器，图像处理器识别定位出现在相机视场中的一个目标工件作为跟踪目标，且不断刷新跟踪目标在相机视场的位姿信息；

步骤S2：以跟踪目标作为执行滤波算法的基准，图像处理器在跟踪目标周围进行目标工件搜索，对搜索识别到的目标工件作为非跟踪目标，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标及非跟踪目标的位姿信息输出至机器人控制器，图像处理器对此后拍照的图像中满足与跟踪目标之间定位关系的非跟踪目标将被过滤掉，不再重复输出非跟踪目标的位姿信息给机器人控制器；

步骤S3：跟踪目标移动出相机视场后，图像处理器重新寻找进入相机视场未与跟踪目标定位的目标工件作为相机的新跟踪目标，重复上述操作。

2.如权利要求1所述的机器视觉的图像识别定位方法，其特征在于：相机视场根据目标工件在传送带上的运行方向分为三个不重叠的视场区域，依次为第一视场区域、第二视场区域及第三视场区域，图像处理器在第一视场区域进行跟踪目标确定及其位姿更新，跟踪目标进入第二视场区域后，图像处理器在跟踪目标周围进行多目标工件搜索，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标及非跟踪目标的位姿信息传送给机器人控制器，跟踪目标进入第三视场区域后，机器人控制器根据已获得的目标工件的位姿信息预测最靠近机器人抓取范围的目标工件处于待抓取时的位置与偏转角度。

3.如权利要求2所述的机器视觉的图像识别定位方法，其特征在于：第一视场区域与第二视场区域的分界线为整个相机视场的二分之一处，第二视场区域与第三视场区域的分界线为整个相机视场的四分之三处。

4.如权利要求2所述的机器视觉的图像识别定位方法，其特征在于：在步骤2中，跟踪目标为最靠近第一、第二视场区域的分界线的目标工件。

5.如权利要求2所述的机器视觉的图像识别定位方法，其特征在于：在步骤2中，以跟踪目标为基准，图像处理器在跟踪目标周围进行目标工件搜索，搜索范围为第二视场区域与第三视场区域。

6.如权利要求1所述的机器视觉的图像识别定位方法，其特征在于：对在相机视场中且同时跟前后两个跟踪目标具有定位关系的目标工件，图像处理器根据目标工件的速度与前后两次拍照时刻过滤相同目标工件的位姿信息对机器人控制器的重复输出。

7.如权利要求1所述的机器视觉的图像识别定位方法，其特征在于：在步骤1之前测目标工件的速度，当目标工件刚进入相机视场后，点击拍照记录目标工件在一个点的时刻及其在机器人坐标系下的坐标(t₁，X₁，Y₁)，当目标工件即将离开相机视场时，点击拍照记录目标工件在另一个点的时刻及其在机器人坐标系下的坐标(t₂，X₂，Y₂)，利用两组坐标计算得到目标工件的空间速度V_带矢量。

8.如权利要求1所述的机器视觉的图像识别定位方法，其特征在于：在步骤1之前，图像处理器需对相机采集到的目标工件图像进行处理，并进行特征检测，确定目标工件的特征模板，作为识别算法的依据。