CN113408643A - 一种基于示教机器人辅助的钣金件识别方法 - Google Patents

Abstract

本发明公开了一种基于示教机器人辅助的钣金件识别方法，涉及机器视觉识别技术领域，包括以下步骤：将相机安装在机器人末端上，将钣金件放在工作平台上，确定从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；相机拍摄钣金件的顶视图像和辅助图像，将二者提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息录入数据库；将待识别钣金件放在工作平台上，相机拍摄钣金件的顶视图像，然后提取特征信息，从数据库中识别出候选匹配件；拍摄待识别钣金件的辅助图像，根据辅助图像提取的特征信息从数据库中识别出匹配度最高的钣金件，最后输出结果，本发明可针对结构对称或轮廓高度相似的钣金件进行有效区分，保证分类的精度和可靠性。

Description

一种基于示教机器人辅助的钣金件识别方法

技术领域

本发明涉及机器视觉识别技术领域，具体涉及一种基于示教机器人辅助的钣金件识别方法。

背景技术

在航空航天和汽车制造领域，钣金件有着极其广泛的应用，由于航空钣金件在折弯等成型后，还需统一进行喷漆处理，喷漆后，大批大量航空钣金件混杂在一起，此时需进行识别分类以便于后续工序进行。但由于航空钣金件种类多、中小批量、形状尺度多变、缺少装夹定位基准、视觉信息贫乏等特点，不易实现自动化识别与分类，往往其分类识别依靠人工完成，大大影响了生产效率。

难以分辨的航空钣金件通常分为以下两类：第一类是结构呈现左右对称的钣金件，这类钣金件呈现左右对称，因而它们的面积、周长等参数完全一致。第二类是外形轮廓几乎完全相同，仅在局部细节处存在微小差异，其左右件的外部轮廓几乎完全相同，其区别主要在于中间下陷结构的位置，同样，它们的面积、周长等参数完全一致。

传统的机器视觉识别方法，通过提取图像的轮廓信息和灰度信息获得钣金件的面积、周长、不变矩等参数，以此构成特征向量进行分类识别。当对上述提及的两类航空钣金件进行机器视觉识别时，由于轮廓信息和灰度信息高度相似，面积、周长、不变矩等参数也近乎完全相同，导致难以准确地识别出钣金件的正确图号。经研究和实验，目前常见的图像识别方法，包括基于深度学习的方法等，对于上述高相似度飞机钣金件分类识别的精度均较低。针对这类高度相似的航空钣金件，需要一种针对性强、识别准确而高效的分类方法。因此，还需要针对钣金件形状尺度多变、缺少装夹定位基准的问题，提出新的适用性强、自动化程度高、识别准确高效的钣金件分类识别方法。

发明内容

针对现有技术中的缺陷，本发明提供一种基于示教机器人辅助的钣金件识别方法，以达到可针对结构对称或轮廓高度相似的钣金件进行有效区分，保证分类的精度和可靠性的作用。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于示教机器人辅助的钣金件识别方法，包括以下步骤：

步骤1：将相机安装在机器人末端上，将钣金件放在一个工作平台上，调整机器人末端的位姿和相机状态，确定一个从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；

步骤2：机器人带动相机拍摄钣金件的一幅顶视图像，然后在人工示教模式下让相机在对应的视角再拍摄钣金件的一幅辅助图像，将顶视图像和辅助图像提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息自动录入数据库；

步骤3：将待识别钣金件放在工作平台上，机器人首先自动带动相机拍摄钣金件的一幅顶视图像，根据该顶视图像提取的特征信息，从钣金件数据库中识别出候选匹配件；

步骤4：根据候选匹配件在数据库中记录的辅助图像对应的机器人末端位姿信息，对机器人末端位姿进行自动调整，然后拍摄待识别钣金件的一幅辅助图像，根据辅助图像提取的特征信息从数据库中进一步识别出匹配度最高的钣金件；

步骤5：将步骤4中获得的匹配度最高的钣金件输出为当前待识别钣金件的最终识别结果。

优选地，所述步骤1具体包括：

步骤1.1：将相机安装在机器人末端的法兰盘上；

步骤1.2：调整机器人末端的位姿，使相机位于视觉工作平台的正上方，且相机的光轴垂直于视觉工作平台；

步骤1.3：记录此时机器人末端的位姿T₀并作为拍摄钣金件顶视图像的固定位姿，并记录此时的相机状态C₀作为拍摄钣金件顶视图像的固定相机状态，并存入数据库中。

优选地，所述步骤2具体包括：

步骤2.1：依次取每种钣金件的一个样件放置在视觉工作平台上，视觉识别系统控制机器人末端自动到达步骤1确定的顶视图像对应的固定位姿，并自动设置相机状态为步骤1确定的顶视图像对应的固定相机状态；

步骤2.2：然后自动拍摄当前钣金件的一幅顶视图像，在顶视图像中提取当前钣金件的特征信息；

步骤2.3：通过示教的方式控制机器人带动相机在区分度较大位置拍摄当前钣金件的一幅辅助图像，并提取辅助图像的特征信息；

步骤2.4：将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库；

步骤2.5：将当前钣金件的图号作为该条记录的键值。

优选地，所述步骤2.4具体包括：

步骤2.4.1：将相机的状态和机器人末端的位姿设置为C₀和T₀，然后将当前钣金件放在工作平台上相机的正下方，利用机器人末端的相机拍摄当前钣金件的顶视图像I_t；

步骤2.4.2：进行图像处理，根据当前钣金件的顶视图像提取顶视图像特征信息F_c；

步骤2.4.3：针对左右对称件或极相似零件，以示教方式控制机器人末端运动至能拍摄到钣金件局部细节特征的位姿，拍摄当前钣金件的辅助图像I_a，提取辅助图像I_a的特征信息F_f，同时记录拍摄当前钣金件辅助图像时的相机状态C及机器人末端位姿R；

步骤2.4.4：循环处理各种需要识别的钣金件，将它们的唯一图号编码ID_i、顶视图像特征信息F_ci、辅助图像特征信息F_fi、拍摄辅助图像时对应的相机状态C_i和机器人末端位姿R_i保存至数据库中。

优选地，所述步骤3具体包括：

步骤3.1：将相机状态与机器人末端位姿初始化到C₀和T₀，同时将当前待识别钣金件放到相机的正下方，拍摄当前待识别钣金件的顶视图像I_tv；

步骤3.2：对顶视图像I_tv进行图像处理，提取当前待识别钣金件顶视图像I_tv的特征信息F_cv；

步骤3.3：将特征信息F_cv同数据库内各条记录中的顶视图像信息F_ci进行比对，计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID_k，k＝0,1,…,m，其中m为当前待识别钣金件的候选匹配件数目。

优选地，在步骤3.3中，所述计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，具体包括以下步骤：

步骤3.3.1：从待识别钣金件的顶视图像中提取特征，由这些特征构成的特征向量记为F_c＝(x₁,x₂,…,x_n)^T，数据库中待比对的第i个钣金件的特征向量记为F_ci＝(x_i1,x_i2,…,x_in)^T，i＝1,2,…,m，其中，m为数据库中钣金件种类的总数，n为特征向量的维数；

步骤3.3.2：求解两特征向量间的标准欧氏距离，得到数据库内第i个钣金件的特征向量与待识别钣金件的特征向量的相似度，该相似度定义为：

式中，s_j为两特征向量第j维度分量的方差。

优选地，所述步骤4具体包括：

步骤4.1：读取当前待识别钣金件的候选匹配件ID_k的数据库信息，对比候选匹配件ID_k的顶视图像I_tvk与当前待识别钣金件的顶视图像I_tv，求解出待识别钣金件与候选匹配件ID_k之间的位姿变化；

步骤4.2：根据求解出的当前待识别钣金件与候选匹配件ID_k之间的位姿变化，计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，在该位姿下拍摄当前待识别钣金件的辅助图像I_avk；

步骤4.3：提取辅助图像I_avk的特征信息F_fvk；

步骤4.4：将提取得到的特征信息F_fvk同数据库中保存的候选匹配件ID_k的特征信息F_fk进行基于模板匹配的相似性比对，求得当前待识别钣金件与候选匹配件ID_k的相似度；

步骤4.5：依次对当前待识别钣金件的所有候选匹配件ID_k进行步骤4.1至步骤4.4的处理，获得当前待识别钣金件的所有候选匹配件中由步骤4.4计算出来的相似度最高的候选匹配件。

优选地，在步骤4.1中，所述求解出待识别钣金件与候选匹配件ID_k之间的位姿变化，具体包括以下步骤：

步骤4.1.1：分别求出当前待识别钣金件和当前候选匹配件的最小包围矩形，然后求出各自最小包围矩形长边与水平轴的夹角；

步骤4.1.2：通过夹角的差值确定当前待识别钣金件和当前候选匹配件之间相差的角度；

步骤4.1.3：分别求解当前待识别钣金件和当前候选匹配件图像中钣金件图形轮廓的质心，计算两质心之间坐标的差值，确定当前待识别钣金件和当前候选匹配件之间相对位移。

优选地，在步骤4.2中，所述计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，具体包括以下步骤：

步骤4.2.1：钣金件信息录入数据库阶段拍摄钣金件顶视图像时，获取此时机器人末端在机器人基坐标系下的位姿^end1T_b，通过示教方式调整机器人末端位姿至拍摄辅助图像的位姿，获取此时机器人末端在机器人基坐标系下的位姿^end2T_b，则拍摄顶视图像时的机器人末端位姿变换到拍摄辅助图像的机器人末端位姿的变换为^end2T_end1＝(^end1T_b)^-1·^end2T_b；

步骤4.2.2：在钣金件识别阶段，对比当前候选匹配件的顶视图像与当前待识别钣金件的顶视图像，求解出当前待识别钣金件相对于当前候选匹配件的位姿变换，记为T；

步骤4.2.3：拍摄当前待识别钣金件辅助图像的机器人末端在机器人基坐标系下的位姿为^end3T_b＝^end1T_b·T·^end2T_end1。

优选地，所述步骤4.3通过以下方法实现：

对辅助图像I_avk进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像I_avk中的主要区分区域进行剪裁，将剪裁后的图像作为辅助图像I_avk的特征信息F_fvk。

优选地，所述步骤4.4具体包括：

步骤4.4.1：当前待识别钣金件与当前候选匹配件ID_k进行特征匹配时，分别对当前待识别钣金件辅助图像及当前候选匹配件ID_k的辅助图像进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像中的主要区分区域进行剪裁，剪裁后的图像作为辅助图像特征信息，分别记为F_fvk和F_fk，k为候选匹配件的序号；

步骤4.4.2：对F_fvk和F_fk进行模板匹配，得到当前待识别钣金件与当前候选匹配件ID_k的匹配度R_k；

步骤4.4.3：对当前待识别钣金件的所有候选匹配件的匹配度进行排序，匹配度最高的ID即为当前待识别钣金件的识别结果。

本发明的有益效果体现在：

1、本发明基于示教机器人进行辅助识别，在钣金件信息录入数据库的过程中，通过示教方式获得辅助图像，可以保证高相似度钣金件的细微可辨识区域完整地呈现在相机的视野中，从而确保辅助图像将拍摄到区分度较大的区域，可以大大提升高相似度钣金件的识别精度。

2、本发明通过待识别钣金件与数据库中的候选钣金件的顶视图像边缘轮廓匹配，自动获取待识别钣金件与数据库中的候选匹配件在工作平台上的摆放位姿差异，从而可以将机器人位姿自动变换到恰当的辅助图像拍摄角度，有效解决了钣金件缺乏定位基准，图像拍摄视角难以确定的问题，而且相比人工视觉引导的辅助图像获取方式自动化程度，大大简化了钣金件的识别过程。

3、本发明步骤2和步骤3中顶视图像的特征信息是根据钣金件图像提取的多个标量特征构成的一个多维向量，其中每一个标量特征的选取原则是该标量特征受钣金件在工作平台上的摆放方位影响很小，从而保证识别精度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明提供的一种基于示教机器人辅助的钣金件识别方法的流程示意图；

图2为本发明基于示教机器人辅助钣金件分类时的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例

如图1-2所示，本实施例提供一种基于示教机器人辅助的钣金件识别方法，包括以下步骤：

步骤1：将相机安装在机器人末端上，将钣金件放在一个工作平台上，调整机器人末端的位姿和相机状态，确定一个从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；

步骤2：机器人带动相机拍摄钣金件的一幅顶视图像，然后在人工示教模式下让相机在对应的视角再拍摄钣金件的一幅辅助图像，将顶视图像和辅助图像提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息自动录入数据库；

步骤3：将待识别钣金件放在工作平台上，机器人首先自动带动相机拍摄钣金件的一幅顶视图像，根据该顶视图像提取的特征信息，从钣金件数据库中识别出候选匹配件；

步骤4：根据候选匹配件在数据库中记录的辅助图像对应的机器人末端位姿信息，对机器人末端位姿进行自动调整，然后拍摄待识别钣金件的一幅辅助图像，根据辅助图像提取的特征信息从数据库中进一步识别出匹配度最高的钣金件；

步骤5：将步骤4中获得的匹配度最高的钣金件输出为当前待识别钣金件的最终识别结果。

本实施例中，可分为钣金样件信息录入阶段(步骤1-2)和钣金件识别阶段(步骤3-5)，在钣金件信息录入阶段的过程中，通过示教方式获得辅助图像，可以保证高相似度钣金件的细微可辨识区域完整地呈现在相机的视野中，从而确保辅助图像将拍摄到区分度较大的区域，可以大大提升高相似度钣金件的识别精度。同时在钣金件识别阶段过程中，通过待识别钣金件与数据库中的候选钣金件的顶视图像边缘轮廓匹配，自动获取待识别钣金件与数据库中的候选匹配件在工作平台上的摆放位姿差异，从而可以将机器人位姿自动变换到恰当的辅助图像拍摄角度，有效解决了钣金件缺乏定位基准，图像拍摄视角难以确定的问题，而且相比人工视觉引导的辅助图像获取方式自动化程度，大大简化了钣金件的识别过程。这里根据顶视图像提取的特征信息是根据钣金件图像提取的多个标量特征构成的一个多维向量，其中每一个标量特征的选取原则是该标量特征受钣金件在工作平台上的摆放方位影响很小，从而保证识别精度。

具体地，所述步骤1具体包括：

步骤1.1：将相机安装在机器人末端的法兰盘上；

步骤1.2：调整机器人末端的位姿，使相机位于视觉工作平台的正上方，且相机的光轴垂直于视觉工作平台；

步骤1.3：记录此时机器人末端的位姿T₀并作为拍摄钣金件顶视图像的固定位姿，并记录此时的相机状态C₀作为拍摄钣金件顶视图像的固定相机状态，并存入数据库中。

需要说明的是，在步骤1.3中，相机状态C₀包括相机的焦距、水平方向等信息。

具体地，所述步骤2具体包括：

步骤2.1：依次取每种钣金件的一个样件放置在视觉工作平台上，视觉识别系统控制机器人末端自动到达步骤1确定的顶视图像对应的固定位姿，并自动设置相机状态为步骤1确定的顶视图像对应的固定相机状态；

步骤2.2：然后自动拍摄当前钣金件的一幅顶视图像，在顶视图像中提取当前钣金件的特征信息；

步骤2.3：通过示教的方式控制机器人带动相机在区分度较大位置拍摄当前钣金件的一幅辅助图像，并提取辅助图像的特征信息；

步骤2.4：将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库；

步骤2.5：将当前钣金件的图号作为该条记录的键值。

步骤2为钣金样件信息录入阶段的核心步骤，通过分别提取顶视图像和辅助图像的特征信息，并将提取的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库，从而作为后续钣金件识别阶段的重要依据。

具体地，所述步骤2.4具体包括：

步骤2.4.1：将相机的状态和机器人末端的位姿设置为C₀和T₀，然后将当前钣金件放在工作平台上相机的正下方，利用机器人末端的相机拍摄当前钣金件的顶视图像I_t；

步骤2.4.2：进行图像处理，根据当前钣金件的顶视图像提取顶视图像特征信息F_c；

步骤2.4.3：针对左右对称件或极相似零件，以示教方式控制机器人末端运动至能拍摄到钣金件局部细节特征的位姿，拍摄当前钣金件的辅助图像I_a，提取辅助图像I_a的特征信息F_f，同时记录拍摄当前钣金件辅助图像时的相机状态C及机器人末端位姿R；

步骤2.4.4：循环处理各种需要识别的钣金件，将它们的唯一图号编码ID_i、顶视图像特征信息F_ci、辅助图像特征信息F_fi、拍摄辅助图像时对应的相机状态C_i和机器人末端位姿R_i保存至数据库中。

从而实现将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库。

具体地，所述步骤3具体包括：

步骤3.1：将相机状态与机器人末端位姿初始化到C₀和T₀，同时将当前待识别钣金件放到相机的正下方，拍摄当前待识别钣金件的顶视图像I_tv；

步骤3.2：对顶视图像I_tv进行图像处理，提取当前待识别钣金件顶视图像I_tv的特征信息F_cv；

步骤3.3：将特征信息F_cv同数据库内各条记录中的顶视图像信息F_ci进行比对，计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID_k，k＝0,1,…,m，其中m为当前待识别钣金件的候选匹配件数目。

本实施例中，通过计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID_k，从而可得出多个候选匹配件，减少筛选量，提高后续步骤的识别精度。

具体地，在步骤3.3中，所述计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，具体包括以下步骤：

步骤3.3.1：从待识别钣金件的顶视图像中提取特征，由这些特征构成的特征向量记为F_c＝(x₁,x₂,…,x_n)^T，数据库中待比对的第i个钣金件的特征向量记为F_ci＝(x_i1,x_i2,…,x_in)^T，i＝1,2,…,m，其中，m为数据库中钣金件种类的总数，n为特征向量的维数；

步骤3.3.2：求解两特征向量间的标准欧氏距离，得到数据库内第i个钣金件的特征向量与待识别钣金件的特征向量的相似度，该相似度定义为：

式中，s_j为两特征向量第j维度分量的方差。

具体地，所述步骤4具体包括：

步骤4.1：读取当前待识别钣金件的候选匹配件ID_k的数据库信息，对比候选匹配件ID_k的顶视图像I_tvk与当前待识别钣金件的顶视图像I_tv，求解出待识别钣金件与候选匹配件ID_k之间的位姿变化；

步骤4.2：根据求解出的当前待识别钣金件与候选匹配件ID_k之间的位姿变化，计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，在该位姿下拍摄当前待识别钣金件的辅助图像I_avk；

步骤4.3：提取辅助图像I_avk的特征信息F_fvk；

步骤4.4：将提取得到的特征信息F_fvk同数据库中保存的候选匹配件ID_k的特征信息F_fk进行基于模板匹配的相似性比对，求得当前待识别钣金件与候选匹配件ID_k的相似度；

步骤4.5：依次对当前待识别钣金件的所有候选匹配件ID_k进行步骤4.1至步骤4.4的处理，获得当前待识别钣金件的所有候选匹配件中由步骤4.4计算出来的相似度最高的候选匹配件。

本实施例中，将多个候选匹配件按照步骤4.1至步骤4.4依次进行处理，从而获得相似度最高的候选匹配件，精度高，适用性好。

具体地，在步骤4.1中，所述求解出待识别钣金件与候选匹配件ID_k之间的位姿变化，具体包括以下步骤：

步骤4.1.1：分别求出当前待识别钣金件和当前候选匹配件的最小包围矩形，然后求出各自最小包围矩形长边与水平轴的夹角；

步骤4.1.2：通过夹角的差值确定当前待识别钣金件和当前候选匹配件之间相差的角度；

步骤4.1.3：分别求解当前待识别钣金件和当前候选匹配件图像中钣金件图形轮廓的质心，计算两质心之间坐标的差值，确定当前待识别钣金件和当前候选匹配件之间相对位移。

从而实现对待识别钣金件与候选匹配件ID_k之间的位姿变化的求解，科学计算，误差极低。

具体地，在步骤4.2中，所述计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，具体包括以下步骤：

步骤4.2.1：钣金件信息录入数据库阶段拍摄钣金件顶视图像时，获取此时机器人末端在机器人基坐标系下的位姿^end1T_b，通过示教方式调整机器人末端位姿至拍摄辅助图像的位姿，获取此时机器人末端在机器人基坐标系下的位姿^end2T_b，则拍摄顶视图像时的机器人末端位姿变换到拍摄辅助图像的机器人末端位姿的变换为^end2T_end1＝(^end1T_b)^-1·^end2T_b；

步骤4.2.2：在钣金件识别阶段，对比当前候选匹配件的顶视图像与当前待识别钣金件的顶视图像，求解出当前待识别钣金件相对于当前候选匹配件的位姿变换，记为T；

步骤4.2.3：拍摄当前待识别钣金件辅助图像的机器人末端在机器人基坐标系下的位姿为^end3T_b＝^end1T_b·T·^end2T_end1。

从而实现对当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿的计算，并通过示教机器人辅助计算，精度高，便于控制。

具体地，所述步骤4.3通过以下方法实现：

对辅助图像I_avk进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像I_avk中的主要区分区域进行剪裁，将剪裁后的图像作为辅助图像I_avk的特征信息F_fvk。

需要说明的是，提取顶视图像的特征信息时，也可采用上述方法。

具体地，所述步骤4.4具体包括：

步骤4.4.1：当前待识别钣金件与当前候选匹配件ID_k进行特征匹配时，分别对当前待识别钣金件辅助图像及当前候选匹配件ID_k的辅助图像进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像中的主要区分区域进行剪裁，剪裁后的图像作为辅助图像特征信息，分别记为F_fvk和F_fk，k为候选匹配件的序号；

步骤4.4.2：对F_fvk和F_fk进行模板匹配，得到当前待识别钣金件与当前候选匹配件ID_k的匹配度R_k；

步骤4.4.3：对当前待识别钣金件的所有候选匹配件的匹配度进行排序，匹配度最高的ID即为当前待识别钣金件的识别结果。

本实施例中，阐述了步骤4.4的具体实现方案，为实现结构对称或轮廓高度相似的钣金件进行有效区分提供了可靠的技术手段，通过科学计算，避免人为误差，从而保证分类的精度、可靠性和适用性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (11)

1.一种基于示教机器人辅助的钣金件识别方法，其特征在于，包括以下步骤：

步骤1：将相机安装在机器人末端上，将钣金件放在一个工作平台上，调整机器人末端的位姿和相机状态，确定一个从工作台上方拍摄顶视图像的机器人末端位姿及相机状态；

步骤2：机器人带动相机拍摄钣金件的一幅顶视图像，然后在人工示教模式下让相机在对应的视角再拍摄钣金件的一幅辅助图像，将顶视图像和辅助图像提取的特征信息、辅助图像拍摄时的相机状态及机器人末端位姿信息自动录入数据库；

步骤3：将待识别钣金件放在工作平台上，机器人首先自动带动相机拍摄钣金件的一幅顶视图像，根据该顶视图像提取的特征信息，从钣金件数据库中识别出候选匹配件；

步骤4：根据候选匹配件在数据库中记录的辅助图像对应的机器人末端位姿信息，对机器人末端位姿进行自动调整，然后拍摄待识别钣金件的一幅辅助图像，根据辅助图像提取的特征信息从数据库中进一步识别出匹配度最高的钣金件；

步骤5：将步骤4中获得的匹配度最高的钣金件输出为当前待识别钣金件的最终识别结果。

2.根据权利要求1所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤1具体包括：

步骤1.1：将相机安装在机器人末端的法兰盘上；

步骤1.2：调整机器人末端的位姿，使相机位于视觉工作平台的正上方，且相机的光轴垂直于视觉工作平台；

步骤1.3：记录此时机器人末端的位姿T₀并作为拍摄钣金件顶视图像的固定位姿，并记录此时的相机状态C₀作为拍摄钣金件顶视图像的固定相机状态，并存入数据库中。

3.根据权利要求2所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤2具体包括：

步骤2.1：依次取每种钣金件的一个样件放置在视觉工作平台上，视觉识别系统控制机器人末端自动到达步骤1确定的顶视图像对应的固定位姿，并自动设置相机状态为步骤1确定的顶视图像对应的固定相机状态；

步骤2.2：然后自动拍摄当前钣金件的一幅顶视图像，在顶视图像中提取当前钣金件的特征信息；

步骤2.3：通过示教的方式控制机器人带动相机在区分度较大位置拍摄当前钣金件的一幅辅助图像，并提取辅助图像的特征信息；

步骤2.4：将顶视图像和辅助图像中提取的当前钣金件的特征信息、拍摄当前钣金件辅助图像时的相机状态及机器人末端位姿信息作为一条记录录入数据库；

步骤2.5：将当前钣金件的图号作为该条记录的键值。

4.根据权利要求3所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤2.4具体包括：

步骤2.4.1：将相机的状态和机器人末端的位姿设置为C₀和T₀，然后将当前钣金件放在工作平台上相机的正下方，利用机器人末端的相机拍摄当前钣金件的顶视图像I_t；

步骤2.4.2：进行图像处理，根据当前钣金件的顶视图像提取顶视图像特征信息F_c；

步骤2.4.3：针对左右对称件或极相似零件，以示教方式控制机器人末端运动至能拍摄到钣金件局部细节特征的位姿，拍摄当前钣金件的辅助图像I_a，提取辅助图像I_a的特征信息F_f，同时记录拍摄当前钣金件辅助图像时的相机状态C及机器人末端位姿R；

步骤2.4.4：循环处理各种需要识别的钣金件，将它们的唯一图号编码ID_i、顶视图像特征信息F_ci、辅助图像特征信息F_fi、拍摄辅助图像时对应的相机状态C_i和机器人末端位姿R_i保存至数据库中。

5.根据权利要求4所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤3具体包括：

步骤3.1：将相机状态与机器人末端位姿初始化到C₀和T₀，同时将当前待识别钣金件放到相机的正下方，拍摄当前待识别钣金件的顶视图像I_tv；

步骤3.2：对顶视图像I_tv进行图像处理，提取当前待识别钣金件顶视图像I_tv的特征信息F_cv；

步骤3.3：将特征信息F_cv同数据库内各条记录中的顶视图像信息F_ci进行比对，计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，将相似性超过一定阈值的比对结果作为当前待识别钣金件的候选匹配件ID_k，k＝0,1,…,m，其中m为当前待识别钣金件的候选匹配件数目。

6.根据权利要求5所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，在步骤3.3中，所述计算F_cv与F_ci之间的标准化欧氏距离作为相似性度量，具体包括以下步骤：

步骤3.3.1：从待识别钣金件的顶视图像中提取特征，由这些特征构成的特征向量记为F_c＝(x₁,x₂,…,x_n)^T，数据库中待比对的第i个钣金件的特征向量记为F_ci＝(x_i1,x_i2,…,x_in)^T，i＝1,2,…,m，其中，m为数据库中钣金件种类的总数，n为特征向量的维数；

步骤3.3.2：求解两特征向量间的标准欧氏距离，得到数据库内第i个钣金件的特征向量与待识别钣金件的特征向量的相似度，该相似度定义为：

式中，s_j为两特征向量第j维度分量的方差。

7.根据权利要求5所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤4具体包括：

步骤4.1：读取当前待识别钣金件的候选匹配件ID_k的数据库信息，对比候选匹配件ID_k的顶视图像I_tvk与当前待识别钣金件的顶视图像I_tv，求解出待识别钣金件与候选匹配件ID_k之间的位姿变化；

步骤4.2：根据求解出的当前待识别钣金件与候选匹配件ID_k之间的位姿变化，计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，在该位姿下拍摄当前待识别钣金件的辅助图像I_avk；

步骤4.3：提取辅助图像I_avk的特征信息F_fvk；

步骤4.4：将提取得到的特征信息F_fvk同数据库中保存的候选匹配件ID_k的特征信息F_fk进行基于模板匹配的相似性比对，求得当前待识别钣金件与候选匹配件ID_k的相似度；

步骤4.5：依次对当前待识别钣金件的所有候选匹配件ID_k进行步骤4.1至步骤4.4的处理，获得当前待识别钣金件的所有候选匹配件中由步骤4.4计算出来的相似度最高的候选匹配件。

8.根据权利要求7所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，在步骤4.1中，所述求解出待识别钣金件与候选匹配件ID_k之间的位姿变化，具体包括以下步骤：

步骤4.1.1：分别求出当前待识别钣金件和当前候选匹配件的最小包围矩形，然后求出各自最小包围矩形长边与水平轴的夹角；

步骤4.1.2：通过夹角的差值确定当前待识别钣金件和当前候选匹配件之间相差的角度；

步骤4.1.3：分别求解当前待识别钣金件和当前候选匹配件图像中钣金件图形轮廓的质心，计算两质心之间坐标的差值，确定当前待识别钣金件和当前候选匹配件之间相对位移。

9.根据权利要求7所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，在步骤4.2中，所述计算出当前待识别钣金件与该候选匹配件辅助图像相同拍摄视角的机器人末端位姿，具体包括以下步骤：

步骤4.2.1：钣金件信息录入数据库阶段拍摄钣金件顶视图像时，获取此时机器人末端在机器人基坐标系下的位姿^end1T_b，通过示教方式调整机器人末端位姿至拍摄辅助图像的位姿，获取此时机器人末端在机器人基坐标系下的位姿^end2T_b，则拍摄顶视图像时的机器人末端位姿变换到拍摄辅助图像的机器人末端位姿的变换为^end2T_end1＝(^end1T_b)^-1.^end2T_b；

步骤4.2.2：在钣金件识别阶段，对比当前候选匹配件的顶视图像与当前待识别钣金件的顶视图像，求解出当前待识别钣金件相对于当前候选匹配件的位姿变换，记为T；

步骤4.2.3：拍摄当前待识别钣金件辅助图像的机器人末端在机器人基坐标系下的位姿为^end3T_b＝^end1T_b·T·^end2T_end1。

10.根据权利要求7所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤4.3通过以下方法实现：

对辅助图像I_avk进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像I_avk中的主要区分区域进行剪裁，将剪裁后的图像作为辅助图像I_avk的特征信息F_fvk。

11.根据权利要求7所述的一种基于示教机器人辅助的钣金件识别方法，其特征在于，所述步骤4.4具体包括：

步骤4.4.1：当前待识别钣金件与当前候选匹配件ID_k进行特征匹配时，分别对当前待识别钣金件辅助图像及当前候选匹配件ID_k的辅助图像进行高斯滤波去除图像中的噪声点，使用最小包围盒算法对辅助图像中的主要区分区域进行剪裁，剪裁后的图像作为辅助图像特征信息，分别记为F_fvk和F_fk，k为候选匹配件的序号；

步骤4.4.2：对F_fvk和F_fk进行模板匹配，得到当前待识别钣金件与当前候选匹配件ID_k的匹配度R_k；

步骤4.4.3：对当前待识别钣金件的所有候选匹配件的匹配度进行排序，匹配度最高的ID即为当前待识别钣金件的识别结果。

Images