CN115170566B - 一种工件的识别方法和识别装置 - Google Patents

Abstract

本发明涉及一种工件的识别方法和识别装置，不仅提取模板图像和待识别图像的特征点，计算二者的相似度，还对模板图像的特征点做普通特征点和加权特征点的划分，使得更具代表性的加权特征点能更显著的反映模板图像的微小差异，使得高相似度件的加权特征点能被显著区分提炼出来，由此计算的加权匹配度能更显著的反映模板图像与待识别图像的细小区别。因此，根据该加权匹配度识别待匹配工件，识别更高效精准，尤其是相似件的识别上，其准确率高达99%，对于后续检测、喷码、抓取等步骤的识别定位有显著成效。

Description

一种工件的识别方法和识别装置

技术领域

本发明涉及图像识别领域，特别是涉及一种工件的识别技术。

背景技术

在智能工厂中，自动分拣、装配、喷码、抓取等属于常见任务，但是对于工件的识别是否高效、精准是完成这些常见任务的首要前提和基础。因此，基于视觉的高准确率识别是当前的一个研究重点。

对于工件识别课题，尽管出现了诸多深度学习、模板匹配等方法，但是由于工件类型复杂、工件种类多、摆放杂乱，尤其是相似件较多，有些工件外轮廓完全一致仅工件内部有较小差异，采用标准匹配方法经常会发生误识别和漏识别的问题，对后续的机器人抓取、桁架分拣、喷码等造成阻碍，严重的会发生机械碰撞、喷码错误等问题，导致生产线停工而带来经济损失，也极大影响了工业生产自动化水平。

因此如何在多种高相似件之间实现正确识别是当前亟待解决的技术问题。

发明内容

为解决上述技术问题，本发明提供一种工件的识别方法，包括：

S1：构建包括待识别工件的模板图像集；

S2：提取模板图像集中每个模板图像的特征点；

S3：将每个模板图像的特征点，划分为普通特征点和加权特征点；

S4：采集待识别工件的实时图像为待识别图像；

S5：提取待识别图像的特征点；

S6：根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；

S7：根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件。

进一步地，步骤S2中，提取每个模板图像的特征点的步骤，包括：

T1：将每个模板图像划分为多个局部图像；

T2：计算每个局部图像的像素点的特征参数；

T3：根据每个局部图像的像素点的特征参数确定每个局部图像的代表点；

T4：统计每个模板图像的所有局部图像的代表点，为对应模板图像的特征点。

进一步地，像素点的特征参数，具体为梯度方向和梯度幅值；步骤T3，具体为：选定每个局部图像中梯度方向投票数最高且梯度幅值最大的像素点，或选定梯度方向与局部图像中梯度方向均值差距最小且梯度幅值与局部图像中梯度幅值均值差距最小的像素点，为每个局部图像的代表点。

进一步地，步骤S2，还包括：

T5：将步骤T4中确定的特征点，设定为候选特征点；根据候选特征点的特征参数，筛除部分候选特征点，以确定待提取特征图像的特征点。

进一步地，步骤T5，包括：

T51：根据候选特征点的梯度幅值，按降序为所有候选特征点排序编号为P_q；q=1…p，p为候选特征点的个数；

T52：令q=1；

T53：判断候选特征点P_q+1与候选特征点P_q的间距，是否大于设定阈值；

T54：若否，则筛除候选特征点P_q+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束；

T55：若是，则将保留候选特征点P_q+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束。

进一步地，步骤S3，包括：

S31：根据模板图像，确定模板图像中表示轮廓的像素点集；

S32：计算像素点集中每个像素点的弯曲度；

S33：判断弯曲度是否大于设定阈值，以弯曲度大于设定阈值所对应的像素点为中心，将弯曲度大于设定阈值所对应的像素点的周围划定为待加权区域；

S34：判断特征点是否在待加权区域，若不在则设定为普通特征点；若在则设定为加权特征点。

进一步地，步骤S6中，采用公式（1）-（3）计算每个模板图像与待识别图像的加权匹配度为：

（1）

（2）

（3）

其中，k表示模板图像集中模板图像的个数；

表示第k个模板图像与待识别图像的加权匹配度；

表示第k个模板图像与待识别图像的基本匹配度；

表示第k个模板图像与待识别图像的附加匹配度；

表示第k个模板图像的第i个特征点的权重系数，其中加权特征点的权重系数比普通特征点的权重系数大；

表示第k个模板图像的第i个特征点与待识别图像的第j个特征点的相似度；

表示第k个模板图像中普通特征点的个数；

表示第k个模板图像中加权特征点的个数。

进一步地，步骤S6中，采用公式（4）优化更新每个模板图像与待识别图像的加权匹配度：

（4）

其中，

表示第k个模板图像与待识别图像的优化加权匹配度；ε _k 表示加权匹配系数。

进一步地，步骤S7，具体为：根据每个模板图像与待识别图像的加权匹配度，选择加权匹配度最高的模板图像，识别待匹配工件。

另一方面，本发明还提供一种工件的识别装置，用于上述任意的识别方法，包括：

获取模块，用于构建包括待识别工件的模板图像集；

第一特征点提取模块，用于提取模板图像集中每个模板图像的特征点；

特征点划分模块，用于将每个模板图像的特征点，划分为普通特征点和加权特征点；

采集模块，用于采集待识别工件的实时图像为待识别图像；

第二特征点提取模块，用于提取待识别图像的特征点；

计算模块，用于根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；

识别模块，根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件。

本发明提供的工件的识别方法和识别装置，不仅提取模板图像和待识别图像的特征点，计算二者的相似度，还对模板图像的特征点做普通特征点和加权特征点的划分，使得更具代表性的加权特征点能更显著的反映模板图像的微小差异，使得高相似度件的加权特征点能被显著区分提炼出来，由此计算的加权匹配度能更显著的反映模板图像与待识别图像的细小区别。因此，根据该加权匹配度识别待匹配工件，识别更高效精准，尤其是相似件的识别上，其准确率高达99%，对于后续检测、喷码、抓取等步骤的识别定位有显著成效。

附图说明

图1为本发明工件的识别方法的一个实施例的流程图；

图2为工件的模板图像的一个实施例的示例图；

图3为工件的模板图像的特征点的一个实施例的示意图；

图4为工件的模板图像的加权特征区域的一个实施例的示意图；

图5为待识别图像的一个实施例的示意图；

图6为工件的训练模板图像的一个实施例的示意图；

图7为本发明工件的识别装置的一个实施例的结构框图。

具体实施方式

如图1 所示，本发明提供一种工件的识别方法，包括：

S1：构建包括待识别工件的模板图像集；具体的，该模板图像集，可选但不仅限于包括常见或前批次、该批次的各种工件的模板图像，如图2所示，示例了四个工件的模板图像，可选但不仅限于为用于泵车、挖机上的工件，（a）、（b）为两个高相似件，（c）、（d）为两个高相似件。

S2：提取模板图像集中每个模板图像的特征点，如图3所示为图2（d）中模板图像的特征点；具体的，可选但不仅限于根据模板图像的像素点的一系列特征，选取具有代表性的像素点为特征点。

S3：将每个模板图像的特征点，划分为普通特征点和加权特征点；具体的，可选但不仅限于根据模板图像的平滑度、弯曲位置、轮廓弯曲度等确定每个模板图像中哪些特征点为普通特征点，如图像平滑、变化小的区域的特征点；哪些特征点为图像极具变化、拐角区域的特征点，对该更具代表性的特征增加一加权系数，设为加权特征点；示例的，如图4所示，记方形框内部的特征点为加权特征点。

S4：采集待识别工件的实时图像为待识别图像；具体的，可选但不仅限于采用相机、摄像头等具有图像采集功能的图像采集装置，采集待识别工件的实时图像为待识别图像，如图5所示，示例了工业现场的一个待识别工件的实时图像，即待识别图像。

S5：提取待识别图像的特征点；具体的，可选但不仅限于与步骤S2中提取模板图像的特征点相同的方式，提取该待识别图像的特征点，具体在待识别图像上的特征点的方式，由于可与S2相同，在此不再赘述，当然与也可采取现有技术中的不同方式，只要能采集到特征点即可。

S6：根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；具体的，可选但不仅限于对每个特征点配置权重系数，其中加权特征点的权重系数比普通特征点的权重系数大，根据每个模板图像的特征点与待识别图像的特征点的相似度，以确定每个模板图像与待识别图像的加权匹配度。更为具体的，可选但不仅限于以每个模板图像中的特征点逐步搜索待识别图像中的特征点，以判断各特征点的相似度。示例的，以模板图像包括5个特征点，其中3个普通特征点和2个加权特征点为例，将该5个特征点依次在待识别图像中找对应的匹配度最高的特征点，如梯度方向一致或差距最小的特征点，即相似度最高的特征点，再根据二者的相似度和每个特征点的权重系数，计算待提取特征图像与待识别图像的加权匹配度。

S7：根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件。

在该实施例中，给出了本发明的工件的识别方法，其不仅提取模板图像和待识别图像的特征点，计算二者的相似度，还对模板图像的特征点做普通特征点和加权特征点的划分，使得更具代表性的加权特征点能更显著的反映模板图像的微小差异，使得高相似度件的加权特征点能被显著区分提炼出来，由此计算的加权匹配度能更显著的反映模板图像与待识别图像的细小区别。因此，根据该加权匹配度识别待匹配工件，识别更高效精准，尤其是相似件的识别上，其准确率高达99%，对于后续检测、喷码、抓取等步骤的识别定位有显著成效。值得注意的，上述步骤S1-S7只是步骤标注，并不对其顺序做任何限定，本领域技术人员可以理解的，如步骤S1-S4和步骤S4-S5，可同时进行，也可先后进行。本发明中凡是能调整先后顺序的步骤标注，只要不违背实现可能性，均可自由调整。

优选的：

（一）关于步骤S1：

模板图像集，可选但不仅限于包括如图2示例的4种类型工件的标准模板图像，如预设像素、零度角偏移下的模板图像。更为具体的，为避免由于图像采集设备的像素不一致、拍摄景深不同、待识别工件并非规矩无偏移的放置在桁架等设备上，而是零星散落，导致后续采集的待匹配工件的实时图像的像素与模板像素、尺度、比例、角度等不同，该模板图像集，还可选但不仅限于包括在标准模板图像下生成的各种可能性的训练模板图像。示例的，可选但不仅限于将每个模板按照对应的尺度比例范围、旋转角度范围等，对应训练生成诸多同一工件的不同尺度比例、不同旋转角度的多个模板图像。示例的，假设如图2所示的某批次工件有4种工件类型，则该模板图像集，不仅包括这4种工件类型的标准模板图像，如如图2所示的预设尺寸、零度角偏移的模板图像；还包括对于每个工件类型的标准模板图像，按照相应比例、不同旋转角度训练的多个模板图像。具体的，如图6所示，给出了图2（d）的第四种工件类型几种训练模板，如：作为参考的标准模板（图6（a），与图2（d）相同）、训练缩小模板（图6（b））、放大模板（图6（c）），90度偏移模板（图6（d））、180度偏移模板（图6（e））和270度偏移模板（图6（f）），则对应每种类型工件的标准模板图像有5个训练模板图像，即对应一种工件类型有6个模板图像，那么对应如图2所示的4种工件类型，则有24个模板图像。值得注意的，该模板图像集具体包括哪些工件类型，对应每个工件类型的标准模板图像训练生成哪些训练模板图像，可由本领域技术人员根据当前工件类型、图像采集模块的像素大小（缩放比例）、工件可能存在的摆放角度等而任意设定。可以理解的，模板图像集中模板图像越多，对像素、角度等可能性的考虑越周全，其与待识别工件的实时图像的匹配度应当越高、精确度越高，但是其匹配过程势必更复杂、计算强度更大。因此，模板图像集中包括的模板图像的具体数量和具体内容，可由本领域技术人员依情况而定，并不以图2、6为限。更为具体的，该模板图像，还可选但不仅限于进行预处理，如通过高斯模糊操作，以达到去噪和平滑的效果，进一步提高后续模板匹配的准确性。

（二）关于步骤S2：

优选的，步骤S2中，提取模板图像的特征点，可选但不仅限于计算模板图像中每个像素点的特征参数，根据其特征参数确定具有代表性的点为特征点。具体的，该特征参数的具体选择，以及如何根据特征参数确定具有代表性的点，可由本领域技术人员而任意设定，可采用现有技术中提取图像特征点的任意方式。

更为优选的，为提高特征点的代表性和整体性，本发明还提供一种用于提取特征点的图像处理方法，可选但不仅限于用于步骤S2中提取待提取特征图像的特征点和步骤S5中提取待识别图像的特征点，还可用于其它任何图像，用于提取其具有代表性的特征点。具体的，该图像处理方法可选但不仅限于包括：

T1：将待提取特征图像（可选但不仅限于为S2中模板图像、S5中待识别图像，或其它待提取特征图像）划分为多个局部图像；具体的，可选但不仅限于在待提取特征图像内以窗口滑动，将待提取特征图像划分为多个局部图像。示例的，以待提取特征图像为15*15像素的图像为例，可选但不仅限于选定3*3大小的窗口，将窗口在15*15的待提取特征图像中滑动，以将15*15的待提取特征图像，划分为25个局部图像，每个局部窗口为3*3大小的局部图像，每个局部图像包括9个像素点。

T2：计算每个局部图像的像素点的特征参数；具体的，可选但不仅限于计算每个像素点的梯度方向、幅值、斜率、亮度等中的一个或多个。

T3：根据每个局部图像的像素点的特征参数确定每个局部图像的代表点；

T4：统计所有局部图像的代表点，为待提取特征图像的特征点。具体的，可选但不仅限于根据像素点的特征参数，在上述每个局部图像的9个像素点中，选择一个或几个代表点，统计所有局部图像的代表点作为待提取特征图像的特征点。

在该实施例中，给出了一种用于提取特征点的图像处理方法，给出了步骤S2如何确定待提取特征图像的特征点、以及步骤S5如何确定待识别图像的特征点的优选步骤，但不以此为限。其首先将待提取特征图像划分为多个局部图像，再根据图像中像素点的平滑度、亮度、斜率、梯度等特征参数，在每个图像中选定具有代表性的一个或多个点为特征点，其关键是基于局部图像的特征参数假设一致性原则，统计每个局部图像的代表点为待提取特征图像的特征点，既具有代表性和泛化性，又能保障特征点一定程度上分布均匀。更为具体的，步骤T1-T4，可选但不仅限于执行一次或多次。示例的，对于上述15*15的待提取特征图像，可选但不仅限于首先以3*3大小的窗口，将待提取特征图像划分为25个局部图像，每个局部图像包括9个像素点，根据像素点的特征参数，以每个局部图像选取一个具有代表性的像素点为代表点为例（还可选取多个代表点），总共得到25个代表点作为待提取特征图像的特征点；在此基础上，还可再次执行步骤T1-T4，以5*5大小的窗口（较前次窗口更大、范围更广），将待提取特征图像划分为9个局部图像，每个局部图像包括25个像素点（此时每个局部图像中可能包括一个或多个已选定的代表点，也可能不包括代表点），根据像素点的特征参数，再在已经选定的25个特征点中，选定更具代表性的9个特征点为待提取特征图像的特征点，值得注意的，上述示例是以每个局部图像中选取一个代表点为例作解释说明，本领域技术人员可以理解的，还可选但不仅限于在每个局部图像中选取多个代表点，如在25个局部图像中，每个局部图像选取2个代表点，得到50个代表。

更为具体的，在一个优选实施例中，可选但不仅限于以像素点的梯度方向和梯度幅值，为像素点的特征参数，但并不以此为限。具体的，步骤T2，可选但不仅限于具体为：计算每个局部图像的像素点的梯度方向和梯度幅值；具体的，可选但不仅限于根据每个像素点，沿X和Y方向计算其梯度方向和梯度幅值。更为具体的，为便于后续计算，梯度方向，可选但不仅限于依角度量化为k个方向，以方向1至方向k表示；示例的，以梯度方向量化为8个方向为例，可选但不仅限于以0-22.5°统称为方向1、以22.5°-45°为方向2、以45°-67.5°为方向3、以67.5°-90°为方向4、以90°-112.5°为方向5、以112.5°-135°为方向6、以135°-157.5°为方向7、以157.5°-180°为方向8，将梯度方向量化为8个方向，便于采用8位二进制串存储，如以00000001表示方向1、00000010表示方向2……等，以加速后续计算，提高算法的鲁棒性。更为具体的，梯度方向的具体量化数量、量化形式、是否等份等，可由本领域技术人员根据识别精度、计算要求等而任意设定，如量化为4个方向、16个方向，甚至是360个方向，每个角度为一个方向，等。

步骤T3，可选但不仅限于具体为：根据每个局部图像的像素点的梯度方向和梯度幅值确定待提取特征图像的代表点。

更为具体的，在一个优选实施例中，步骤T3，可选但不仅限于具体为：根据每个局部图像的像素点的梯度方向和梯度幅值，选定每个局部图像中梯度方向投票数最高且梯度幅值最大的像素点为代表点；示例的，以上述示例的：每个局部图像包括9个像素点为例，上述确定每个局部图像的代表点的过程，可选但不仅限于为对9个像素点的梯度方向投票计数，示例的，假设投票结果显示：方向2有3票，方向4有5票，方向6有1票，则首先选定投票数最高的方向4所对应的像素点（5票对应的像素点），再在这5个像素点中选取梯度幅值最大的一个或多个像素点（即梯度幅值排名第一的一个像素点或排名前几的几个像素点）为该局部图像的代表点。

在该实施例中，选定像素点的梯度方向和梯度幅值，为像素点的特征参数，作为像素点是否被选定为特征点的评价指标，主要是考虑以梯度方向反应像素点的变化趋势，以梯度幅值反应像素点的强弱，具有代表性和泛化性，是确定特征点的一个优选实施例，但是本领域技术人员可以理解的，确定特征点的特征参数指标并不以此梯度方向和梯度幅值为限，示例的如以拐点、斜率等作为特征参数均可。更为具体的，以梯度方向投票数最高且梯度幅值最大的像素点为代表点也为适应性举例，本领域技术人员可以理解的，方向上除了以投票数最高外，还可在另外的实施例中考虑以与梯度方向均值差距最小的像素点为代表点；同样的梯度幅值也可考虑均值等，该具体根据梯度方向和梯度幅值如何确定代表点，可由本领域技术人员根据选取规则而设定，此处仅给出优选实施例。

更为具体的，为筛除步骤T4中一些不可观的特征点，该图像处理方法，还可选但不仅限于包括T5：将步骤T4中确定的特征点，设定为候选特征点；根据候选特征点的特征参数，筛除部分候选特征点，以确定待提取特征图像的目标特征点，以该后面确定的目标特征点，为待提取特征图像最终选定的特征点。

在该实施例中，该图像处理方法，还增设根据候选特征点的特征参数，在上一步确定的特征点中，进一步优化筛选，确定最终特征点的步骤，能在上述划区选定局部代表点的基础上，进一步优化更新特征点，进一步保障特征点分布均匀，既具有整体性又具有代表性。具体的，可选但不仅限于根据候选特征点的位置、相邻候选特征点的距离等候选特征点的特征参数，而对候选特征点进行筛选。

示例优选的，步骤T5，可选但不仅限于根据候选特征点的间距，筛除间距未超过设定阈值的候选特征点，以确定待提取特征图像的目标特征点。在该实施例中，给出了步骤T5的一个具体实施例，以候选特征点的间距为特征参数，筛除部分候选特征点，以将候选特征点按距离过滤，保障其在图像上较均匀分布，以更客观、有效的反映待提取特征图像的特征。

更为优选的，步骤T5，可选但不仅限于包括：

T51：根据候选特征点的梯度幅值，按降序为所有候选特征点排序编号为P_q；q=1…p，p为候选特征点的个数；

T52：令q=1；

T53：判断候选特征点P_q+1与候选特征点P_q的间距，是否大于设定阈值；

T54：若否，则筛除候选特征点P_q+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束；在该步骤，通过阈值判断，可将与候选特征点P_q距离较近的点全部筛除。

T55：若是，则将保留候选特征点Pq+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束。在该步骤，通过阈值判断，可将与候选特征点P_q距离较远，超过设定阈值的点全部保留，即需要保留的最后确定的目标特征点。

在该实施例中，给出了步骤T5如何筛除候选特征点，确定最终特征点的一个具体实施方式，筛除间距未超过设定阈值的特征点，以确保特征点在待提取特征图像上均匀分布，能反映待提取特征图像的整体特征，避免其仅反映部分局部图像的特征，对反映待提取特征图像的特征更具代表性和全局性。更为具体的，该间距的设定阈值，可选但不仅限于根据候选特征点的数量和目标特征点的数量而确定，可选但不仅限于以二者比值作为间距的设定阈值。

值得注意的，该步骤T51-T55仅为候选特征点筛选规则的一个具体示例，但并不以此为限。再次示例的，步骤T52-T55，还可选但不仅限于替换为：

以候选特征点P_q为中心，设定阈值为半径，划定为候选特征点P_q的权属空间，将权属空间内的其它候选特征点全部删除；即在该权属空间内仅保留该梯度幅值最大的候选特征点；

在降序排列的候选特征点中，找到除已经比对和筛除的候选特征点外，候选特征点中梯度幅值最大的候选特征点，再以该候选特征点为中心，设定阈值为半径，划定为该候选特征点的权属空间，将权属空间内的其它候选特征点全部删除；即在该权属空间内仅保留该梯度幅值最大的候选特征点；重复上述步骤，直至完成所有候选特征点的遍历比对，得到最终确定的目标特征点。

更为具体的，步骤S2中，以提取模板图像的特征点为例，可选但不仅限于应用上述图像处理方法，在一个完整优选实施例中，步骤S2，可选但不仅限于包括：

S21：以第一窗口将模板图像划分为多个第一局部图像；具体的，可选但不仅限于选定3*3大小的窗口，将窗口在15*15的模板图像中滑动，以将15*15的模板图像，划分为25个局部图像，每个局部窗口为3*3大小的图像，包括9个像素点。

S22：计算每个第一局部图像的像素点的梯度方向和梯度幅值；

S23：根据每个第一局部图像的像素点的梯度方向和梯度幅值，选定每个第一局部图像中梯度方向投票数最高且梯度幅值最大/或梯度方向与梯度方向的均值差距最小且梯度幅值与梯度幅值的均值差距最小的像素点为代表点，确定为模板图像的第一特征点；具体的，以25个局部图像中，每个局部图像选定2个代表点为例，共得到50个第一特征点；

S24：以第二窗口将模板图像划分为多个第二局部图像，第二窗口比第一窗口大；具体的，可选但不仅限于选定5*5大小的窗口，将窗口在15*15的模板图像中滑动，以将15*15的模板图像，划分为9个局部图像，每个局部窗口为5*5大小的图像，包括25个像素点；此时，50个第一特征点分布在9个局部图像中；

S25：根据每个第二局部图像的像素点的梯度幅值，选定每个第二局部图像中梯度幅值最大的像素点为代表点，确定为模板图像的第二特征点，以第二特征点为模板图像的特征点；

还可选但不仅限于包括：S26：将步骤S25中确定的特征点，设定为候选特征点，根据待提取特征数量将候选特征点按距离过滤，确定模板图像的特征点。具体可选但不仅限于为按照步骤T51-T55过滤。

在该实施例中，给出了步骤S2的一个优选实施例，其以梯度方向和梯度幅值为评价指标，通过二次确定一级代表点和二级代表点确定候选特征点，并根据候选特征点的距离等参数，确定模板图像的最终特征点。该整个流程，一是能保障候选特征点对于每个局部图像都具有较强代表性；二是能通过筛选候选特征点，以保障特征点在模板图像中均匀分布，整体反应模板图像的全局性；二者结合以进一步提高工件识别的精确度。

（三）关于步骤S3：

优选的，步骤S3中，以一个模板图像为例，将模板图像的特征点，划分为普通特征点和加权特征点的步骤，可选但不仅限于包括：

S31：根据模板图像，确定模板图像中表示轮廓的像素点集；具体的，可选但不仅限于对模板图像进行二值化处理，再计算边缘映射图，以确定轮廓的像素点集。值得注意的，该轮廓的像素点集，可选但不仅限于为模板图像中所有轮廓的像素点集，不仅包括外部轮廓，还包括内部轮廓。更为具体的，该轮廓的像素点集，可选但不仅限于包括轮廓的所有像素点集；还可选但不仅限于将同一轮廓中的点集采用多边形拟合，并将轮廓中曲线近似为一系列像素点，以减少像素点集中像素点的数量，降低表征轮廓的像素点的存储难度和后续计算难度。

S32：计算像素点集中每个像素点的弯曲度；具体的，可选但不仅限于计算像素点集中每个像素点与相邻像素点的夹角表征每个像素点的弯曲度。更为具体的，可选但不仅限于从像素点集中的一点开始，在轮廓方向上计算该点与相邻线段对应的夹角余弦值，以该余弦值为评判指标，判断该像素点是否位于轮廓极具变化的拐角处。值得注意的，该夹角余弦值仅为评判指标的示例，本领域技术人员可以理解的，还可选但不仅限于以斜率等表示。

S33：判断弯曲度是否大于预定阈值，以弯曲度大于预定阈值所对应的像素点为中心，将弯曲度大于预定阈值所对应的像素点的周围划定为待加权区域；具体的，以夹角余弦值表示弯曲度为例，可选但不仅限于预先设定弯曲度阈值=0.2，以上一步计算的线段夹角正弦值，选择该轮廓像素点集中夹角幅度超过阈值的点，以该点为中心，边长为r=10的正方形块、圆形块等作为待加权区域。值得注意的，该弯曲度阈值的具体数值、以超过阈值的点为中心划定何处范围为待加权区域，仅给出上述示例，并不以此为限，本领域技术人员可根据识别精度要求、待识别工件的尺寸等而灵活设定。

S34：判断特征点是否在待加权区域，若不在则设定为普通特征点；若在则设定为加权特征点。

在该实施例中，给出了步骤S3，如何划分普通特征点和加权特征点的具体实施方式，其以弯曲度作为划定普通特征点和加权特征点的评价指标，将图形中极具变化的拐角点设定为加权特征点，能充分反映图像形状的变化位置和趋势，能大大提高图像识别的效率和精度，尤其能提高高相似件的识别准确性。

（四）关于步骤S4：

优选的，步骤S4，可选但不仅限于包括对采集的图像进行预处理，以提高该采集图像的质量，进而提高后续工件识别的效率和精度。具体的，预处理步骤，可选但不仅限于包括：S41：矫正步骤；具体的，由于相机及镜头制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真，可选但不仅限于采用标准的相机标定流程，如获取相机的内参、畸变参数等，对实时图像进行矫正，得到矫正后图像；S42：修正步骤；具体的，由于实际工作场景存在光照不稳定、采图的背景复杂且不断变化等情况，导致采集的实时图像含有较多的噪声、工件与背景的区分性较小等问题，可选但不仅限于，对矫正后图像进行图像平滑、去噪、增强图像对比度等修正，得到修正后图像。

在该实施例中，给出了步骤S4如何获取待识别图像的具体实施方式，其在采集基础上，增设矫正、修正等预处理步骤，对实时图像进行处理，能进一步提高后续工件的检测与识别精度。

（五）关于步骤S5：

优选的，步骤S5中，该提取待识别图像的特征点的步骤，可选但不仅限于与步骤S2中，提取模板图像的特征点的步骤一致，如上述图像处理方法，在此不再赘述。

（六）关于步骤S6：

优选的，步骤S6中，模板图像的特征点与待识别图像的特征点的相似度，可选但不仅限于由本领域技术人员根据二者梯度方向的一致性和差距大小而任意设定。示例的，以梯度方向和梯度幅值确定上述特征点、且将梯度方向量化为8个方向的方式为例，为便于计算，提高相似度判断的效率，可选但不仅限于针对该8个方向，预先计算每个方向在待识别图像上的预响应相似值，构建如表1所示的预响应表并完成线性存储，在匹配时只需要离线查询线性存储表即可实现匹配。示例的，参见表1，从模板图像的第一个特征点开始，假设其梯度方向为方向4，可搜索待识别图像上是否有方向4的特征点，若有则查表确定对应该第一个特征点的相似度为1，若无则搜索待识别图像上是否有与方向4最为接近的方向3，若有则查表确定对应该第一个特征点的相似度为0.9，若无则搜索待识别图像上是否有与方向4其次接近的方向5，若有则查表确定对应该第一个特征点的相似度为0.8，若无则依次搜索是否有方向2、方向6、方向1、方向7、方向8，若所有方向都没有与之对应，即待识别图像中的特征点均已匹配完成，模板图像上有多余的特征点，则相似度为0。按照此规则，遍历计算模板图像中所有特征点与待识别图像中特征点的相似度，并为每个相似度配上权重系数，以最终得到每个模板图像与待识别图像的加权匹配度。

表1 模板图像的特征点与待识别图像的特征点的相似度预响应表

值得注意的，上述以梯度方向作为评价指标的示例，以及将梯度方向量化为8个方向的示例，以及针对每个方向在待识别图像上的预响应相似度值仅为示例说明，并不以此为限。示例的，梯度方向可选但不仅限于量化为更多方向；更多示例的，以方向4为例，可选但不仅限于将左右两个方向的偏差设为相似度相同，如将在左右一个度量方向内的方向3和方向5都记为同一相似度值，依此类推；更多示例的，还可选但不仅限于以待匹配图像为基准，设置其与模板图像的预响应相似度表；由此可见，上述相似度仅为代表模板图像与待识别图像上特征点的相似性的一个度量单位，其具体计算方式可由本领域技术人员而定，只要能代表二者之间的相似度即可。

更为优选的，步骤S6中，每个模板图像与待识别图像的加权匹配度，可选但不仅限于采用公式（1）-（3）计算为：

（1）

（2）

（3）

其中，k表示模板图像集中模板图像的个数；

表示第k个模板图像与待识别图像的加权匹配度；

表示第k个模板图像与待识别图像的基本匹配度；

表示第k个模板图像与待识别图像的附加匹配度；

表示第k个模板图像的第i个特征点的权重系数，其中加权特征点比普通特征点的权重系数大；

表示第k个模板图像的第i个特征点与待识别图像的第j个特征点的相似度；

表示第k个模板图像中普通特征点的个数；

表示第k个模板图像中加权特征点的个数。

在该实施例中，给出了步骤S6如何计算每个模板图像与待识别图像的加权匹配度的一个优选实施例，通过权重系数，为加权特征点附加更大的权重系数，以凸显其更加重要、更加显著特征代表性，以通过加权匹配度提高工件识别精度，尤其是相似件的识别精度。

在一个优选实施例中，可选但不仅限于采用公式（4）优化更新每个模板图像与待识别图像的加权匹配度：

（4）

其中，

表示第k个模板图像与待识别图像的优化加权匹配度；ε _k 表示第k个模板图像的加权匹配系数。具体的，加权匹配系数可选但不仅限于根据模板图像中加权特征点个数、加权特征点个数与普通特征点个数的比值等确定，反应加权特征点整体的匹配权重。

在该实施例中，给出了计算加权匹配度的一个优选实施例，其不是简单地将普通特征点的基本匹配度与加权特征点的附加匹配度简单相加得到加权匹配度

，其前部分除了包括基本匹配度外，后部分还包括一个很重要的指标：括号内第一项表示当前模板图像的加权特征的匹配度与所有模板图像的加权特征的匹配度最大值的比值，第二项表示当前模板图像与待匹配图像实际的加权匹配度，这两项比值的乘积再乘上加权匹配系数得到加权匹配带来的增益，这种优化计算方式，大大拉大了正确匹配与错误匹配之间匹配分数的差距，经实验比对，能进一步提高识别精度，尤其是在相似件的识别过程中，能大大避免高相似件的误识别，其识别准确率达99%以上，能很大程度上避免后续工件喷码、抓取等操作的顺利完成，避免工件损坏、抓取失败等，对于工业产线的正常运行有至关重要的作用。以工件抓取为例，若在分拣过程中，无法识别相似件或者在高相似件的识别上出现误识别，则可能导致相似件分拣错误，不仅可能导致货物发送错误，还可能导致后续切割、喷码等错误，出现无法逆转的经济损失。

（七）关于步骤S7：

优选的，可选但不仅限于根据每个模板图像与待识别图像的加权匹配度，根据加权匹配度最高的模板图像，识别待匹配工件。更为具体的，以该模板图像，包括不同尺寸比例、不同旋转角度的多个模板图像为例，通过识别待匹配工件对应于哪个模板图像，还可定位待匹配工件的当前位置、何种姿态，以进一步应用于后续桁架分拣、喷码等步骤，在此不再赘述。值得注意的，上述步骤的标号，如S1-S7、T1-T5等，均不对其执行顺序做限定，本领域技术人员可以理解的顺序改变，只要不使得方法无法实施，则可任意调换顺序。

另一方面，如图7所示，本发明还提供一种工件的识别装置，包括：

获取模块100，用于构建包括待识别工件的模板图像集；

第一特征点提取模块200，用于提取模板图像集中每个模板图像的特征点；

特征点划分模块300，用于将每个模板图像的特征点，划分为普通特征点和加权特征点；

采集模块400，用于采集待识别工件的实时图像为待识别图像；

第二特征点提取模块500，用于提取待识别图像的特征点；

计算模块600，用于根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；

识别模块700，根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件。

作为本发明的另一方面，上述识别装置基于上述识别方法创造，其技术作用和有益效果在此不再赘述，值得注意的，上述文字及附图7中的模块划分及连接关系仅为功能性划分，并不对其物理结构做任何划分界定。可以理解的，该获取模块，可选但不仅限于为存储单元、输入单元等，以实时输入或存储模板图像，构成模板图像集；采集模块，可选但不仅限于为图像采集装置，实时采集工件的实际图像；第一特征点提取模块、特征点划分模块、第二特征点提取模块、计算模块和识别模块，可选但不仅仅限于为单片机、终端等，其可分开设置也可合体设置。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种工件的识别方法，其特征在于，包括：

S1：构建包括待识别工件的模板图像集；

S2：提取模板图像集中每个模板图像的特征点；

S3：将每个模板图像的特征点，划分为普通特征点和加权特征点；

S4：采集待识别工件的实时图像为待识别图像；

S5：提取待识别图像的特征点；

S6：根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；

S7：根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件；

步骤S6中，采用公式（1）-（3）计算每个模板图像与待识别图像的加权匹配度为：

（1）

（2）

（3）

其中，k表示模板图像集中模板图像的个数；

表示第k个模板图像与待识别图像的加权匹配度；

表示第k个模板图像与待识别图像的基本匹配度；

表示第k个模板图像与待识别图像的附加匹配度；

表示第k个模板图像的第i个特征点的权重系数，其中加权特征点的权重系数比普通特征点的权重系数大；

表示第k个模板图像的第i个特征点与待识别图像的第j个特征点的相似度；

表示第k个模板图像中普通特征点的个数；

表示第k个模板图像中加权特征点的个数；

步骤S6中，采用公式（4）优化更新每个模板图像与待识别图像的加权匹配度：

（4）

其中，

表示第k个模板图像与待识别图像的优化加权匹配度；ε _k 表示加权匹配系数。

2.根据权利要求1所述的识别方法，其特征在于，步骤S2中，提取每个模板图像的特征点的步骤，包括：

T1：将每个模板图像划分为多个局部图像；

T2：计算每个局部图像的像素点的特征参数；

T3：根据每个局部图像的像素点的特征参数确定每个局部图像的代表点；

T4：统计每个模板图像的所有局部图像的代表点，为对应模板图像的特征点。

3.根据权利要求2所述的识别方法，其特征在于，像素点的特征参数，具体为梯度方向和梯度幅值；步骤T3，具体为：选定每个局部图像中梯度方向投票数最高且梯度幅值最大的像素点，或选定梯度方向与局部图像中梯度方向均值差距最小且梯度幅值与局部图像中梯度幅值均值差距最小的像素点，为每个局部图像的代表点。

4.根据权利要求3所述的识别方法，其特征在于，步骤S2，还包括：

T5：将步骤T4中确定的特征点，设定为候选特征点；根据候选特征点的特征参数，筛除部分候选特征点，以确定待提取特征图像的特征点。

5.根据权利要求4所述的识别方法，其特征在于，步骤T5，包括：

T51：根据候选特征点的梯度幅值，按降序为所有候选特征点排序编号为P_q；q=1…p，p为候选特征点的个数；

T52：令q=1；

T53：判断候选特征点P_q+1与候选特征点P_q的间距，是否大于设定阈值；

T54：若否，则筛除候选特征点P_q+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束；

T55：若是，则将保留候选特征点P_q+1；并令q=q+1；判断q是否大于p，若否则返回步骤T53，若是则结束。

6.根据权利要求1所述的识别方法，其特征在于，步骤S3，包括：

S31：根据模板图像，确定模板图像中表示轮廓的像素点集；

S32：计算像素点集中每个像素点的弯曲度；

S33：判断弯曲度是否大于设定阈值，以弯曲度大于设定阈值所对应的像素点为中心，将弯曲度大于设定阈值所对应的像素点的周围划定为待加权区域；

S34：判断特征点是否在待加权区域，若不在则设定为普通特征点；若在则设定为加权特征点。

7.根据权利要求1-6任意一项所述的识别方法，其特征在于，步骤S7，具体为：根据每个模板图像与待识别图像的加权匹配度，选择加权匹配度最高的模板图像，识别待匹配工件。

8.一种工件的识别装置，其特征在于，用于执行权利要求1-7任意一项所述的识别方法，包括：

获取模块，用于构建包括待识别工件的模板图像集；

第一特征点提取模块，用于提取模板图像集中每个模板图像的特征点；

特征点划分模块，用于将每个模板图像的特征点，划分为普通特征点和加权特征点；

采集模块，用于采集待识别工件的实时图像为待识别图像；

第二特征点提取模块，用于提取待识别图像的特征点；

计算模块，用于根据每个模板图像的普通特征点和加权特征点，与待识别图像的特征点的相似度，确定每个模板图像与待识别图像的加权匹配度；

识别模块，根据每个模板图像与待识别图像的加权匹配度，识别待匹配工件。

Images