CN113102297A - 一种并联机器人快速分拣瑕疵工件的方法 - Google Patents

Abstract

本申请公开了一种并联机器人快速分拣瑕疵工件的方法，包括：根据待检测图像生成图像金字塔，并确定最高层金字塔图像的参考点；依据最高层金字塔图像的参考点，确定下一层图像的预计参考点，以该点为中心确定第一区域，并计算第一区域各像素点的匹配得分，将其最大值对应的像素点记作中间参考点；当中间参考点位于第一区域的边缘时，以该点为中心确定第二区域，并计算第二区域各像素点的匹配得分，将其最大值对应的像素点记作本层图像的参考点，重新执行步骤2；基于最底层金字塔图像的参考点，计算待检工件为瑕疵件的可信度，以判断是否抓取待检工件。通过本申请中的技术方案，解决了当前工业机器人分拣系统存在缺陷检测速度慢、错误率高的问题。

Description

一种并联机器人快速分拣瑕疵工件的方法

技术领域

本申请涉及并联机器人分拣的技术领域，具体而言，涉及一种并联机 器人快速分拣瑕疵工件的方法以及一种并联机器人快速分拣瑕疵工件的系 统。

背景技术

我国制造业正处于蓬勃发展的阶段，工业机器人与机器视觉相结合在 智能制造业各个应用方向中的作用日益明显，并联机器人分拣则是其中重 要的一种，特别是在电子、汽车、食品和药品等领域，并联机器人分拣已 经成为产品装配线上的重要组成部分。

而现有技术中的并联机器人分拣通常存在着分拣系统速度慢、错误率 高、成本高等问题。

如专利CN107328785A提供了一种冲压件缺陷检测设备，该方案包括 输送机构、至少一个产品定位机构、视觉检测机构和排次品机构。为了提 升缺陷检测的成功率，该视觉检测机构包括5个成像相机和5个光源，5个 所述成像相机的焦距和5个所述光源的光线皆相交于所述输送机构上的冲 压件，且5个成像相机和5个光源分别在所述冲压件上方呈180°圆弧状分 布。一方面，该方案使用多个相机和光源搭配，大大增加了分拣系统的成本。另一方面，该方案的分拣速度受限于传送带速度、图像处理速度以及 排次品机构的速度，且该方案的定位机构上游以及排次品机构的下游，皆 需要通过人工收放冲压件，限制了分拣速度。

再如专利CN110404803A提出了一种基于视觉的并联机器人分拣系统 及分拣方法，以解决现有技术中多色彩工件的分拣效率低下、以及分拣质 量不稳定的问题。该方案利用改进的OTSU法对图像进行二值化，依靠连 续不断迭代的方式选取阈值，使得图像阈值分割后的效果优于常规OTSU 算法。该方案对于具有双峰特征的图像具有良好的分割效果，但是对于具 有单峰特征的图像来说，该方案并不适用，因此造成该方案的适用范围较 窄，且分拣准确率较低。其次，该阈值选取方式需要依靠大量的、连续不 断的迭代去筛选最佳阈值，而阈值筛选期间耗时巨大，不利于现场实时作 业，大大降低生产效率，导致该系统前期的分拣效率较低。

又如专利CN105690393A提供一种基于机器视觉的四轴并联机器人分 拣系统及其分拣方法，可广泛用于手机、电子等3C行业的多零件快速分 拣、瑕疵检测、贴标，轻小金属件、食品、药品等的搬运和分拣，具有使 用方便、集成化控制、多终端同步性强、控制准确性高和成本低廉的特点。 该方案使用Canny算子进行图像分割，将目标图像从背景图像中提取出来， 虽然Canny算子可以很好的标识弱边缘，但与此同时，Canny算子容易受 到噪声的干扰，会将部分噪声也归结为边缘，造成定位精度缺失，继而影 响机器人分拣的准确性。

发明内容

本申请的目的在于：对NCC模板匹配算法进行优化，提高工件定位速 度，不仅可以识别瑕疵件，而且还结合识别处的瑕疵件的可信度，以辅助 现场进行二次判断，提高分拣准确率。并且还可以提供瑕疵件的位置信息、 角度信息，以供并联机器人准确抓取识别出的瑕疵件。

本申请第一方面的技术方案是：提供了一种并联机器人快速分拣瑕疵 工件的方法，该方法包括：步骤1，根据待检测图像生成图像金字塔，并确 定最高层金字塔图像的参考点，其中，图像金字塔中包含多层金字塔图像， 待检测图像为待检工件的图像；步骤2，依据最高层金字塔图像的参考点， 确定下一层金字塔图像的预计参考点，以预计参考点为中心，在本层金字 塔图像中确定第一区域，并计算第一区域中各像素点与标准图像中对应像素点的第一匹配得分，并将第一匹配得分中最大值对应的像素点记作中间 参考点；步骤3，当判定中间参考点位于第一区域的边缘时，以中间参考点 为中心，在本层金字塔图像中确定第二区域，并计算第二区域中各像素点 与标准图像中对应像素点的第二匹配得分，将第二匹配得分中最大值对应 的像素点记作本层金字塔图像的参考点，重新执行步骤2，以逐层确定金字 塔图像的参考点；步骤4，基于最底层金字塔图像的参考点与标准图像中对 应像素点的底层匹配得分，计算待检工件为瑕疵件的可信度，以判断是否 抓取待检工件。

上述任一项技术方案中，进一步地，步骤1中，生成图像金字塔的过 程，具体包括：步骤11，根据待检测图像的高度和宽度，确定待检测图像 中有效灰度信息个数，并根据有效灰度信息个数，确定拟定金字塔层数； 步骤12，基于NCC模板匹配算法，根据待检测图像和拟定金字塔层数，生 成图像金字塔。

上述任一项技术方案中，进一步地，拟定金字塔层数的计算公式为：

NLevel＝NPixel+2

NPixel＝log₂(MIN(W,H))

式中，NLevel为拟定金字塔层数，NPixel为有效灰度信息个数，W为 待检测图像的宽度，H为待检测图像的高度。

上述任一项技术方案中，进一步地，方法，还包括：步骤31，当判定 中间参考点为第一区域的中心像素点时，将中间参考点记作本层金字塔图 像的参考点，重新执行步骤2，以逐层确定金字塔图像的参考点。

上述任一项技术方案中，进一步地，第一区域为以预计参考点为中心 的3*3区域。

上述任一项技术方案中，进一步地，第二区域为以中间参考点为中心 的四联通区域。

上述任一项技术方案中，进一步地，步骤4中，最底层金字塔图像的 参考点与标准图像中对应像素点的底层匹配得分的计算过程，具体包括： 步骤41，以最底层金字塔图像的预计参考点为中心，在最底层金字塔图像 中确定第三区域，并计算第三区域中各像素点与标准图像中对应像素点的 第三匹配得分；步骤42，采用迭代算法，根据第三匹配得分和第三区域中 各像素点的坐标，拟合多项式曲面，并计算第三区域中各像素点的灰度值 与多项式曲面间的距离；步骤43，根据第三区域中距离小于距离阈值的像 素点，组成内点集，根据内点集中各像素点的坐标和对应的第三匹配得分， 拟合多项式曲面，执行步骤42；步骤44，当判定满足迭代结束条件时，选 取包含像素点数量最多的内点集，记作最佳数据集，并根据最佳数据集， 拟合高斯曲面；步骤45，将高斯曲面的局部最大值对应的像素点记作最佳 匹配点，计算最佳匹配点与标准图像中对应像素点的匹配得分，记作底层 匹配得分。

上述任一项技术方案中，进一步地，步骤42中，计算第三区域中各像 素点的灰度值与多项式曲面间的距离，距离的计算公式为：

t(x_i,y_i)＝|f(x_i,y_i)-s(x_i,y_i)|

式中，(x_i,y_i)为第三区域中各像素点的坐标，f(x_i,y_i)为灰度值，由多 项式曲面确定，A为曲面峰值，(x₀,y₀)为曲面峰值A在多项式曲面中的坐标， δ_x为多项式曲面x方向的方差，δ_y为多项式曲面y方向的方差，s(x_i,y_i)为 第三匹配得分。

上述任一项技术方案中，进一步地，方法还包括：步骤5，当可信度大 于瑕疵阈值时，判定抓取待检工件，并根据机械臂末端在传送带上的第一 投影位置和机械臂移动速度，确定机械臂到达第一投影位置的第一时间； 步骤6，根据待检测图像中待检工件的位置，确定待检工件在传送带上的第 二投影位置，结合第一投影位置、传送带速度，计算待检工件到达第一投 影位置的第二时间；步骤7，根据第二时间与第一时间的时间差，计算机械臂的抓取时间，当判定到达抓取时间时，启动机械臂，以抓取待检工件。

本申请第二方面的技术方案是：提供了一种并联机器人快速分拣瑕疵 工件的系统，该系统包括：传送带、工业相机、光源、机械臂以及机械臂 控制系统，所述机械臂控制系统根据如第一方面技术方案中任一项所述的 并联机器人快速分拣瑕疵工件的方法，控制所述机械臂对传送带上的待检 工件进行分拣。

本申请的有益效果是：

本申请中的技术方案，对NCC模板匹配算法中各层金字塔图像参考点 的确定过程进行了优化，降低了匹配耗时56％～64％，提高了工件定位速度， 并减少了参考点定位过程中计算量，降低了硬件性能需求，提高运行效率。 本申请中的技术方案，将定位精度从像素级别提升至亚像素级别，对于500 万像素的工业相机而言，精度误差控制在0.329个像素内，解决了当前工业 机器人分拣系统存在缺陷检测速度慢、定位精度低、错误率高的问题。

本申请中，在最后一层金字塔图像的匹配得分计算过程中，引入内点 集、多项式拟合曲面，并对内点集中的元素进行筛选，有效剔除得分突变 的像素点，降低了图像噪声对最佳匹配点定位的影响，保证了重构多项式 曲面的准确性，从而提高了最佳匹配点定位的精度。

本申请中，还通过自适应算法的思想，对金字塔层数进行确认，依靠 模板的灰度信息与尺寸信息，确定与金字塔层数的联系关系，在保证分拣 别速度的前提下，使得金字塔层级最高，保证分拣的准确度。

并且，通过本申请中的技术方案，仅采用单目相机垂直拍摄即可保证 获取到的待检测图像能够满足瑕疵件检测的需求，无需多个相机共同协作， 降低分拣系统成本。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中 将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的并联机器人快速分拣瑕疵工件的方 法的示意流程图；

图2是根据本申请的一个实施例的NCC模板匹配算法中金字塔的示意 图；

图3是根据本申请的一个实施例的第一区域参考点得分计算的示意图；

图4是根据本申请的一个实施例的第二区域参考点得分计算的示意图；

图5是根据本申请的一个实施例的并联机器人快速分拣瑕疵工件的系 统的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附 图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不 冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是， 本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请 的保护范围并不受下面公开的具体实施例的限制。

实施例一：

如图1所示，本实施例提供了一种并联机器人快速分拣瑕疵工件的方 法，该方法适用于由工业相机、并联机器人(机械臂)以及机械臂控制系 统等装置组成的待检工件瑕疵检测的分拣系统，该方法包括：

步骤1，基于NCC模板匹配算法，根据待检测图像生成图像金字塔， 并确定最高层金字塔图像的参考点，其中，图像金字塔中包含多层金字塔 图像，待检测图像为待检工件的图像；

具体的，传统NCC模板匹配依靠金字塔算法建立模型。通过将原始图 像的长、宽缩小2倍，利用像素插值的方式依次得到各层的金字塔图像。 随着金字塔层级的增加，图像信息也在减少，虽然检测速度则会相应得增 加，但检测的准确率会随之降低。并且，传统NCC模板匹配针对目标旋转 的情况无法进行定位。由于待检工件是随机放置在传送带上的，因此，其 方向不一定与工业相机平行，导致传统NCC模板匹配，定位准确率低。

进一步的，如图2所示，为了达到速度和准确率的平衡，本实施例对 金字塔层数的确定方法进行改进，基于自适应算法的思想，依靠模板的灰 度信息与尺寸信息，确定与金字塔层数的联系关系，在保证准确率的前提 下，使得金字塔层级最高。该步骤1中，生成图像金字塔的过程，具体包 括：

步骤11，根据待检测图像的高度和宽度，确定待检测图像中有效灰度 信息个数，并根据有效灰度信息个数，确定拟定金字塔层数；

其中，拟定金字塔层数的计算公式为：

NLevel＝NPixel+2

NPixel＝log₂(MIN(W,H))

式中，NLevel为拟定金字塔层数，NPixel为有效灰度信息个数，W为待 检测图像的宽度，H为待检测图像的高度。

步骤12，基于NCC模板匹配算法，根据待检测图像和拟定金字塔层数， 生成图像金字塔。

优选的，为了待检工件的摆放问题，提高各层金字塔图像定位的准确 率，以准确找出各层金字塔图像中的参考点，在确定最高层金字塔图像的 参考点时，对最高层金字塔图像进行旋转，设定待检工件为冲压件，该过 程具体方法包括：

步骤a，根据预设角度步长，在设定的旋转角度范围内，依次对最高层 金字塔图像进行旋转，并分别计算旋转后的最高层金字塔图像与标准图像 的匹配得分。

具体的，设定预设角度步长为1°，旋转角度范围为360°，每一个角 度进行依次匹配得分计算，匹配得分的计算方式本实施例并不限定。

匹配得分越高，代表拍摄冲压件(待检工件)的待检测图像与标准件 对应的标准图像之间的相似程度越高，及冲压件与标准件相似度越高；反 之，匹配得分越小，则代表拍摄冲压件与标准件的相似程度越低，则说明 该冲压件表面存在缺陷。

步骤b，选取旋转后、最高层金字塔图像中匹配得分最高的图像记作最 佳图像，将最佳图像中匹配得分最高的像素点记作最高层金字塔图像的参 考点；

步骤c，根据最高层金字塔图像的参考点，确定次高层金字塔图像的参 考点。

待确定最高层金字塔图像的参考点后，逐层确定金字塔图像的参考点， 以便根据最底层金字塔图像的参考点与标准图像对应像素点之间的匹配得 分，确定待检工件(冲压件)是否为瑕疵件。本实施例中，将最底层金字 塔图像中参考点的匹配得分记作底层匹配得分。

具体的，由于NCC模板匹配算法中的各层金字塔图像存在缩放和旋转， 因此，各层金字塔图像中的参考点需要逐层映射至最底层，金字塔参考点 映射关系为：

P_i＝P_i+1*2

式中，P_i为第i层金字塔图像的预计参考点，P_i+1为上一层金字塔图像 的参考点，i＝NLevel,NLevel-1,…,2,1。

在常规的NCC模板匹配算法中，由于金字塔图像在尺寸上存在2倍缩 放关系，在得到本层金字塔图像的参考点坐标后，需要以该参考点为中心， 2位半径的区域继续精确搜索，即以该参考点的5*5区域内进行定位。

为了提升各层金字塔图像的匹配速度，本实施例对逐层确定金字塔图 像的参考点的过程进行了优化，优化后的过程具体包括：

步骤2，依据最高层金字塔图像的参考点，确定下一层金字塔图像的预 计参考点，以预计参考点为中心，在本层金字塔图像中确定第一区域，并 计算第一区域中各像素点与标准图像中对应像素点的第一匹配得分，并将 第一匹配得分中最大值对应的像素点记作中间参考点，其中，第一区域为 以预计参考点为中心的3*3区域。

具体的，如图3所示，无论是合格件还是瑕疵件，二者的匹配得分分 布均为二维高斯曲面分布，在匹配得分的分布图上仅存在一个波峰，且波 峰位置在中心附近。因此，为了提高匹配速度，在传统NCC模板匹配算法 中5*5的候选区域内，优先计算以预计参考点为中心的3*3区域(第一区 域)内的匹配得分值。

步骤31，当判定中间参考点为第一区域的中心像素点时，将中间参考 点记作本层金字塔图像的参考点，重新执行步骤2，以逐层确定金字塔图像 的参考点；

具体的，得到3*3区域内的匹配得分值后，确定最高得分值对应的像 素点位置，当最高得分值位于3*3区域内的中间时，即该像素点为中心像 素点，则停止搜寻，将该像素点作为本层金字塔图像的参考点，并根据该 参考点确定下一层金字塔图像的预计参考点，重新执行步骤2，计算下一层 金字塔图像的参考点。

步骤3，当判定中间参考点位于第一区域的边缘时，以中间参考点为中 心，在本层金字塔图像中确定第二区域，并计算第二区域中各像素点与标 准图像中对应像素点的第二匹配得分，将第二匹配得分中最大值对应的像 素点记作本层金字塔图像的参考点，重新执行步骤2，以逐层确定金字塔图 像的参考点。

具体的，如图4所示，当第一区域中最高匹配得分值对应的像素点位 于3*3区域(第一区域)的边界时，需要在最高匹配得分像素点位置处建 立4联通邻域(第二区域)，在该4联通邻域内进行二次匹配得分计算，更 精确的计算出最高匹配得分对应像素点的位置，并减小了匹配得分计算过 程中的运算量。经测试，通过本实施例中金字塔各层优化后的参考点搜索 算法，可以降低匹配耗时56％～64％。

步骤4，基于最底层金字塔图像的参考点与标准图像中对应像素点的底 层匹配得分，计算待检工件为瑕疵件的可信度，以判断是否抓取待检工件。

具体的，在传统的NCC模板匹配算法中，随着金字塔层数降低1层， 模板尺寸扩大4倍，此时单点相似度计算量增加4倍，而整个匹配耗时将 增加约36倍。经测试，最底层匹配耗时占比约为整个金字塔匹配耗时的 78.45％。为了进一步降低NCC模板匹配算法的耗时，本实施例对最底层金 字塔图像的参考点与标准图像中对应像素点的底层匹配得分的计算过程进 行了优化，该过程具体包括：

步骤41，以最底层金字塔图像的预计参考点为中心，在最底层金字塔 图像中确定第三区域，并计算第三区域中各像素点与标准图像中对应像素 点的第三匹配得分，其中，第三区域为3*3区域；

步骤42，采用迭代算法，根据第三匹配得分和第三区域中各像素点的 坐标，拟合多项式曲面，并计算第三区域中各像素点的灰度值与多项式曲 面间的距离，其中，距离t(x_i,y_i)的计算公式为：

t(x_i,y_i)＝|f(x_i,y_i)-s(x_i,y_i)|

式中，(x_i,y_i)为第三区域中各像素点的坐标，f(x_i,y_i)为灰度值，由多 项式曲面确定，A为曲面峰值，(x₀,y₀)为曲面峰值A在多项式曲面中的坐标， δ_x为多项式曲面x方向的方差，δ_y为多项式曲面y方向的方差，s(x_i,y_i)为 第三匹配得分。

具体的，一方面，为了保证定位精度，本实施例中采用随机抽样一致 性高斯曲面进行多项式拟合，得到多项式曲面f(x,y)。根据第三匹配得分 和第三区域中各像素点的坐标，通过曲面拟合的方式，计算出曲面峰值A与 曲面峰值A在多项式曲面中的坐标(x₀,y₀)、多项式曲面xy方向的方差δ_x和 δ_y，对应的拟合多项式曲面计算公式为：

另一方面，在拟合过程中，为了避免3*3区域(第三区域)内存在匹 配异常点，导致拟合曲面的参数失真。本实施例中还对3*3区域内的所有 像素点进行筛选，得到内点集vec_in。

在筛选过程中，首先，计算最底层金字塔图像中3*3区域内的每个像 素点的匹配得分s(x_i,y_i)，然后利用3*3区域内的所有匹配得分s(x_i,y_i)和 对应的像素点坐标(x_i,y_i)，利用最小二乘法拟合出一张方向向下的随机抽样 一致性高斯曲面f(x,y)，接着计算3*3区域所有像素点(x_i,y_i)的灰度值 f(x_i,y_i)，进而得出灰度值与多项式曲面间的距离t(x_i,y_i)。如果该距离 t(x_i,y_i)小于距离阈值DistThre，则将该像素点设定为内点集vec_in中的一个 点。

步骤43，根据第三区域中距离小于距离阈值的像素点，组成内点集， 根据内点集中各像素点的坐标和对应的第三匹配得分，拟合多项式曲面， 执行步骤42；

本实施例中，因为图像噪声的影响，计算出的第三匹配得分存在突变 的情况，影响最佳匹配点定位的精度，因此，本实施例引入内点集，通过 距离对第三区域中的像素点进行筛选，可以有效剔除得分突变点，保证了 重构多项式曲面的准确性，从而提高了最佳匹配点定位的精度。

具体的，在得到内点集vec_in后，利用该内点集vec_in中的点，重新拟合 多项式曲面f(x,y)，重新计算第三区域中每个像素点与重新拟合出的多项 式曲面f(x,y)之间的距离，再根据该距离重新筛选内点集vec_in，进行多次 迭代，当满足迭代终止条件时，如迭代次数达到50次，结束迭代运算，根 据迭代过程中每一次得到的内点集，选取内点集中包含像素点数量最多的 内点集作为最佳数据集。利用最佳数据集重新拟合高斯曲面，并求解出该曲面的局部最大值，局部最大值所在的图像亚像素坐标(x₀,y₀)即为最底层 金字塔图像的最佳匹匹配点，进而计算最佳匹配点与标准图像的匹配得分。

步骤44，当判定满足迭代结束条件时，选取包含像素点数量最多的内 点集，记作最佳数据集，并根据最佳数据集，拟合高斯曲面；

步骤45，将高斯曲面的局部最大值对应的像素点记作最佳匹配点，计 算最佳匹配点与标准图像中对应像素点的匹配得分，记作底层匹配得分。

经测试，通过本实施例中改进的NCC模板匹配算法，得到的最佳匹配 位置与真实位置之间的误差保持在0.039个像素内，能够有效解决缺陷工件 定位精度低的问题，并且匹配耗时则降低为原来的36.862％。

本实施例中，为了提高瑕疵件分拣的分拣准确率，引入可信度计算， 将该匹配得分利用均值为0.5、标准差为1.0的一维高斯函数进行卷积，得 到该待检工件为瑕疵件的可信度。

进一步的，该方法还包括：

步骤5，当可信度大于瑕疵阈值Thre时，判定抓取待检工件，向机械 臂控制系统发送分拣命令，以控制并联机器人(机械臂)进行瑕疵件分拣 操作，在分拣过程中，根据机械臂末端在传送带上的第一投影位置和机械 臂移动速度，确定机械臂到达第一投影位置的第一时间；

步骤6，根据待检测图像中待检工件的位置，确定待检工件在传送带上 的第二投影位置，结合第一投影位置、传送带速度，计算待检工件到达第 一投影位置的第二时间；

步骤7，根据第二时间与第一时间的时间差，计算机械臂的抓取时间， 当判定到达抓取时间时，启动机械臂，以抓取待检工件。

具体的，由于机器人本体与传送带的高度差固定Hight_z，设置抓取位置 点PosAim_x,y，假设当前机械臂末端在传送带平面投影位置为PosCur_x,y，机 械臂移动速度为V_ro，则末端到制定目标点所需时间T_ro可以通过位置差与机 械臂速度计算得出。

瑕疵件与目标点在传送带方向上的投影位置差Pos_x，传送带速度为Pos_x， 则可以计算出瑕疵件到达目标点的时间T_tr，通过时间差T_tr-T_ro可以得出机 械臂分拣时间点。根据手眼标定结果，完成路径规划，当瑕疵冲压件到达 预定位置时，并联机器人完成抓取操作。

实施例二：

如图5所示，本实施例提供了一种并联机器人快速分拣瑕疵工件的系 统，该系统包括：传送带、工业相机、光源、机械臂以及机械臂控制系统， 机械臂控制系统根据如上述实施例中任一项的并联机器人快速分拣瑕疵工 件的方法，控制机械臂对传送带上的待检工件进行分拣。

具体的，待检测冲压件(待检工件)放置在传送带上，在传送带上游 为视觉检测系统；视觉检测系统主要包括：高角度环形光源、工业相机以 及适配分辨率的镜头。

首先视觉检测系统对传送带上的工件进行图像采集，高度环形光源可 以360°均匀的照射在传送带上方的待检工件上，并且无阴影产生，清晰度 高，无需过多的图像预处理步骤，减少检测时间的同时降低了环境对于检 测的影响。接着，将采集到的图像传入PC端进行图像通道转换操作，将多 通道图像转换为单通道图像，减少图像信息处理量，提高瑕疵检测的整体 效率。

在对待检工件进行瑕疵检测时，由工业相机将实时拍摄到的传送带图 像交由计算机处理，计算机利用上述实施例中基于NCC模板改进的匹配算 法，判断冲压件的有无；如果当前相机视野内存在冲压件，即该图像为待 检测图像，则进一步判断该图像中的冲压件表面是否存在缺陷，并给出存 在缺陷可信度，具体计算过程不再赘述。

当基于可信度判定该冲压件存在瑕疵时，进一步计算出该缺陷冲压件 的中心坐标；根据在程序中设置的传送带速度、工业相机与并联机器人(机 械臂)末端的水平距离，则可进行手眼标定，计算出并联机器人抓取坐标， 当缺陷冲压件到达预期位置时，机械臂末端完成抓取动作，实现缺陷冲压 件的分拣任务。

通过对本实施例中的系统进行测试，对于500万像素的相机来说，传 统NCC模板匹配平均定位耗时为25.39ms，耗时时间过长导致，并联机器 人每秒抓取次数不超过39次，制约了并联机器人的分拣效率。二本实施例 中的匹配算法，平均定位耗时为9.359ms，每秒平均处理106帧图像，将并 联机器人抓取效率提升为原来的2.718倍，显著提升了并联机器人效拣功率。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种并联 机器人快速分拣瑕疵工件的方法，包括：步骤1，根据待检测图像生成图像 金字塔，并确定最高层金字塔图像的参考点，其中，图像金字塔中包含多 层金字塔图像，待检测图像为待检工件的图像；步骤2，依据最高层金字塔 图像的参考点，确定下一层金字塔图像的预计参考点，以预计参考点为中 心，在本层金字塔图像中确定第一区域，并计算第一区域中各像素点与标准图像中对应像素点的第一匹配得分，并将第一匹配得分中最大值对应的 像素点记作中间参考点；步骤3，当判定中间参考点位于第一区域的边缘时， 以中间参考点为中心，在本层金字塔图像中确定第二区域，并计算第二区 域中各像素点与标准图像中对应像素点的第二匹配得分，将第二匹配得分 中最大值对应的像素点记作本层金字塔图像的参考点，重新执行步骤2，以 逐层确定金字塔图像的参考点；步骤4，基于最底层金字塔图像的参考点与 标准图像中对应像素点的底层匹配得分，计算待检工件为瑕疵件的可信度， 以判断是否抓取待检工件。通过本申请中的技术方案，解决了当前工业机 器人分拣系统存在缺陷检测速度慢、错误率高的问题。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示 例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求 限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的 各种变型、改型及等效方案。

Claims (10)

1.一种并联机器人快速分拣瑕疵工件的方法，其特征在于，所述方法包括：

步骤1，根据待检测图像生成图像金字塔，并确定最高层金字塔图像的参考点，其中，所述图像金字塔中包含多层金字塔图像，所述待检测图像为待检工件的图像；

步骤2，依据所述最高层金字塔图像的参考点，确定下一层金字塔图像的预计参考点，以所述预计参考点为中心，在本层金字塔图像中确定第一区域，并计算所述第一区域中各像素点与标准图像中对应像素点的第一匹配得分，并将所述第一匹配得分中最大值对应的像素点记作中间参考点；

步骤3，当判定所述中间参考点位于所述第一区域的边缘时，以所述中间参考点为中心，在所述本层金字塔图像中确定第二区域，并计算所述第二区域中各像素点与所述标准图像中对应像素点的第二匹配得分，将所述第二匹配得分中最大值对应的像素点记作本层金字塔图像的参考点，重新执行步骤2，以逐层确定所述金字塔图像的参考点；

步骤4，基于最底层金字塔图像的参考点与所述标准图像中对应像素点的底层匹配得分，计算所述待检工件为瑕疵件的可信度，以判断是否抓取所述待检工件。

2.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述步骤1中，生成所述图像金字塔的过程，具体包括：

步骤11，根据所述待检测图像的高度和宽度，确定所述待检测图像中有效灰度信息个数，并根据所述有效灰度信息个数，确定拟定金字塔层数；

步骤12，基于NCC模板匹配算法，根据所述待检测图像和所述拟定金字塔层数，生成所述图像金字塔。

3.如权利要求2所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述拟定金字塔层数的计算公式为：

NLevel＝NPixel+2

NPixel＝log₂(MIN(W,H))

式中，NLevel为所述拟定金字塔层数，NPixel为所述有效灰度信息个数，W为所述待检测图像的宽度，H为所述待检测图像的高度。

4.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述方法，还包括：

步骤31，当判定所述中间参考点为所述第一区域的中心像素点时，将所述中间参考点记作本层金字塔图像的参考点，重新执行步骤2，以逐层确定所述金字塔图像的参考点。

5.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述第一区域为以所述预计参考点为中心的3*3区域。

6.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述第二区域为以所述中间参考点为中心的四联通区域。

7.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述步骤4中，所述最底层金字塔图像的参考点与所述标准图像中对应像素点的底层匹配得分的计算过程，具体包括：

步骤41，以所述最底层金字塔图像的预计参考点为中心，在所述最底层金字塔图像中确定第三区域，并计算所述第三区域中各像素点与所述标准图像中对应像素点的第三匹配得分；

步骤42，采用迭代算法，根据所述第三匹配得分和所述第三区域中各像素点的坐标，拟合多项式曲面，并计算所述第三区域中各像素点的灰度值与所述多项式曲面间的距离；

步骤43，根据所述第三区域中所述距离小于距离阈值的像素点，组成内点集，根据所述内点集中各像素点的坐标和对应的第三匹配得分，拟合多项式曲面，执行步骤42；

步骤44，当判定满足迭代结束条件时，选取包含像素点数量最多的内点集，记作最佳数据集，并根据所述最佳数据集，拟合高斯曲面；

步骤45，将所述高斯曲面的局部最大值对应的像素点记作最佳匹配点，计算所述最佳匹配点与所述标准图像中对应像素点的匹配得分，记作所述底层匹配得分。

8.如权利要求7所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述步骤42中，计算所述第三区域中各像素点的灰度值与所述多项式曲面间的距离，所述距离的计算公式为：

t(x_i，y_i)＝|f(x_i，y_i)-s(x_i，y_i)|

式中，(x_i,y_i)为所述第三区域中各像素点的坐标，f(x_i,y_i)为所述灰度值，由所述多项式曲面确定，A为曲面峰值，(x₀,y₀)为所述曲面峰值A在所述多项式曲面中的坐标，δ_x为所述多项式曲面x方向的方差，δ_y为所述多项式曲面y方向的方差，s(x_i,y_i)为所述第三匹配得分。

9.如权利要求1所述的并联机器人快速分拣瑕疵工件的方法，其特征在于，所述方法还包括：

步骤5，当所述可信度大于瑕疵阈值时，判定抓取所述待检工件，并根据机械臂末端在传送带上的第一投影位置和机械臂移动速度，确定所述机械臂到达所述第一投影位置的第一时间；

步骤6，根据所述待检测图像中所述待检工件的位置，确定所述待检工件在所述传送带上的第二投影位置，结合所述第一投影位置、所述传送带速度，计算所述待检工件到达所述第一投影位置的第二时间；

步骤7，根据所述第二时间与所述第一时间的时间差，计算所述机械臂的抓取时间，当判定到达所述抓取时间时，启动所述机械臂，以抓取所述待检工件。

10.一种并联机器人快速分拣瑕疵工件的系统，其特征在于，所述系统包括传送带、工业相机、光源、机械臂以及机械臂控制系统，所述机械臂控制系统根据如权利要求1-9中任一项所述的并联机器人快速分拣瑕疵工件的方法，控制所述机械臂对传送带上的待检工件进行分拣。

Images