CN112488207B - 一种基于仿真图像的高相似度零件视觉识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于仿真图像的高相似度零件视觉识别方法及系统，该方法针对左右对称、形状差异较小的高相似度零件，设计了一种基于机器视觉与仿真图像的识别方法。首先对零件进行三维建模，再进行高还原度的图形渲染，模拟真实环境下的图像样貌；接着采集高相似度零件区分度最高的视角下的图像；接着将零件放置在旋转工作平台上，并采集图像；通过将真实图像与仿真图像进行匹配对齐，获取虚实图像变换矩阵；通过算法得到旋转工作台的旋转角度，将零件旋转至区分度最高的视角，再次采集图像；最后获取零件的轮廓信息，通过与模板进行匹配得到最终识别结果。

Description

一种基于仿真图像的高相似度零件视觉识别方法及系统

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于仿真图像的高相似度零件视觉识别方法及系统。

背景技术

在进行零件区分时有的零件人工区分较为简单但有的零件人工无法较快区分，往往只有同一族内的零件较难区分。而且，零件的分类识别问题中存在着无法使用统一的夹具、较难定位等问题，给分类工作造成了一定的难度。目前，针对高相似度零件的分类任务只能采取人工比对的方式进行，此方式不仅工作量较大，而且无法保证分类的精度。目前，有针对零件分类问题的识别方法的提出：

吕政阳等(“CN110866894A-一种基于机器视觉技术的跨粒度的钣金件识别系统及方法”)提出通过人工视觉引导的方式将高相似度飞机钣金件调整至可区分的视角。

方舟等(方舟.基于GAPSO-SVM的钣金零件图像识别方法[J].机械制造与自动化,2020,(5):116-118+122)提出将遗传算法的交叉变异操作引入粒子群算法,形成遗传粒子群算法。采用遗传粒子群算法同时进行支持向量机的参数优化和特征选择。其他的基于机器视觉的零件分类方法在分类识别的过程中存在着计算复杂度高、识别精度低等问题。同时，在各个领域零件的识别任务存在着相似的问题，需要一种适用性强、计算复杂度低、识别准确且高效的分类方法。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于仿真图像的高相似度零件视觉识别方法，该方法可以解决了零件识别速度和精度低的问题，本发明还提供一种基于仿真图像的高相似度零件视觉识别系统。

技术方案：本发明所述的基于仿真图像的高相似度零件视觉识别方法，包括：

(1)对已有的零件模型进行图形渲染，模拟出真实环境下的零件图像样貌，得到零件的仿真图形；

(2)人工选取区分度最高的区域，确定拍摄合适的角度，采集图像并提取相关特征信息入库；

(3)用旋转工作台旋转所述待识别零件至合适位置拍摄零件的主视图像和侧视图像，提取待识别零件的主视觉特征信息T_m和辅助视觉特征信息T_a；

(4)将待识别零件与仿真零件进行对比匹配筛选出多个高相似度的仿真零件；

(5)将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R；

1)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

2)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R。

(6)通过旋转矩阵R得出旋转工作台的旋转角度，将旋转矩阵R通过旋转变换矩阵得到旋转角度θ。通过直流电机控制旋转工作台，将零件位置转动至所需视角下，用辅助相机再次采集零件的侧视图像；

旋转变换矩阵：

(7)根据上一步获得的实拍侧视图像获取所述待识别零件的轮廓信息，与数据库中的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，进而获得最相似的细粒度匹配仿真零件的图号。

进一步的，包括：

所述步骤(4)，具体包括：

(41)依次计算数据库中所有仿真零件H_i的粗粒度特征向量v_ci与待识别零件的粗粒度特征向量u_c两个特征向量间的距离D_i；

(42)将所有距离值D_i小于距离阈值的对应零件称作匹配备选零件，记为A₀,A₁,...A_m，其中，m为满足距离阈值要求的零件个数；

(43)计算各个匹配备选零件A₀,A₁,...A_m的辅助视觉特征信息V_ai与待识别零件的辅助视觉特征信息T_a的相似度，筛选得到相似度最大的进行细粒度筛选的备选仿真图A₀,A₁,...A_n，其中，n为满足相似度要求的零件个数。

进一步的，包括：

所述步骤(43)包括：

若零件辅助视觉特征信息V_ai是由所有辅助图像I_ai组成，则使用模板匹配的方法，依次计算匹配备选零件A₀,A₁,...A_m的V_ai与待识别零件的零件辅助特征信息T_a的相似度，根据相似度对匹配结果进行筛选；否则，

若零件辅助特征信息V_ai是由零件图形轮廓J_i组成，依次计算匹配备选零件A₀,A₁,...A_m的V_ai与待识别零件B的零件辅助特征信息T_a的相似度，根据相似度对匹配结果进行筛选。

进一步的，包括：

所述零件图形轮廓提取算法为：利用拓扑结构分析以及边界追踪技术从二值图像中得到有序的轮廓点集合，通过层次结构对轮廓进行表示，从而有效地区分内、外轮廓，保证轮廓信息的完整性

进一步的，包括：

所述步骤(3)中，旋转工作台上方设置有龙门型支架，龙门型支架的横杆上设置有主相机，其两端的竖杆上设置有一个或多个辅助相机，所述主相机置于所述待识别零件的正上方，用于拍摄主视图像，辅助相机用于拍摄侧视图像。

另一方面，本发明还提供一种基于仿真图像的高相似度零件视觉识别系统，包括：

仿真零件构建模块，用于对已有的零件模型进行图形渲染，模拟出真实环境下的零件图像样貌，得到零件仿真图像；

仿真零件特征提取模块，用于提取不同种类的仿真零件的视觉特征信息，并将相关信息保存至数据库；

待识别零件特征提取模块，用于采用旋转工作台旋转所述待识别零件至合适位置拍摄零件的主视图像和侧视图像，提取待识别零件的视觉特征信息；

第一匹配模块，用于将待识别零件与仿真零件进行对比匹配筛选出多个高相似度的零件；

旋转矩阵获取模块，用于将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R；

1)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

2)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R。

位置调整模块，用于通过旋转矩阵R得出旋转工作台的旋转角度。

将旋转矩阵R通过旋转变换矩阵得到旋转角度θ。通过直流电机控制旋转工作台，将零件位置转动至所需视角下，用辅助相机再次采集零件的侧视图像；

旋转变换矩阵：

第二匹配模块，根据上一步获得的实拍侧视图像获取所述待识别零件的轮廓信息，与数据库中的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，进而获得最相似的细粒度匹配仿真零件的图号。

有益效果：本发明通过采用旋转工作台的形式，无需人工调整零件摆放位置，便于细粒度识别，节约人工成本；本发明通过采仿真图像对比完成零件的识别，降低了计算量，节约了人工分类的成本，有效地提高了零件识别速度。

附图说明

图1为本发明识别方法详细流程图；

图2为本发明实施例旋转工作台的立体示意图；

图3为本发明实施例所述的旋转工作台的主视图；

图4为本发明实施例所述的旋转工作台的俯视图；

图5为本发明实施例所述的旋转工作台的侧视图；

图6是本发明实施例所述的部分零件的特征数据及零件间的相对距离。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1所示，本发明公开了基于仿真图像的高相似度零件视觉识别方法，包括以下步骤：

S1.利用CAD对零件进行三维建模，并对其进行高还原度的图形渲染，模拟出真实环境下的零件图像样貌。

S2.提取仿真零件主图像I_mi中的特征数据，选取l种特征数据组成l维特征向量v_ci＝(x₁,x₂,...,x_n)T，其中，i为当前零件编号，x₁,x₂,...,x_n为各特征值，v_ci为零件粗粒度区分特征；提取主图像I_mi的零件图形轮廓数据作为零件细粒度区分特征v_fi；v_ci、v_fi共同作为仿真零件主视觉特征信息V_mi。将零件图号、零件主视觉特征信息V_mi共同保存在零件数据库中。

本实施实例中使用成像分辨率1456像素X1088像素的相机作为主相机，搭配使用工业相机镜头。

本发明实施例中针对主图像I_mi的零件主视觉特征信息V_mi，其提取算法具体包括：

S2.2.1对仿真零件主图像I_mi进行高斯滤波去除图像中的噪声点，并进行处理得到二值化图像；

S2.2.2提取主图像I_mi的形状因子及旋转不变矩阵特征数据，选取二值化零件图形的轮廓周长、面积数值；

对零件图形进行最小外接椭圆拟合，计算拟合椭圆的长轴、短轴长度；

计算图形最小包围盒面积；

计算图形最小外接圆的半径；

计算图形的1阶、2阶Hu矩及0阶、2阶Zernike矩组成10维特征向量v_ci＝(x₁,x₂,...,x₁₀)T，其中，i为当前零件编号，x₁,x₂,...,x₁₀为各特征值，v_ci为零件粗粒度区分特征。

S3.用旋转工作台旋转零件至合适位置利用主相机拍摄待识别零件主视图像，用旋转工作台旋转零件至合适位置利用辅助相机2拍摄零件侧视图像。

如图2-5所示，旋转工作台4上放置零件，使用直流电机驱动工作台旋转方向。旋转工作台4上方设置有龙门型支架，龙门型支架的横杆上设置有主相机1，其两端的竖杆上设置有一个或多个辅助相机2，竖杆下端设置有光源3，主相机1置于待识别零件的正上方，用于拍摄主视图像，辅助相机2用于拍摄侧视图像。

S4提取待识别零件B的视觉特征信息T_m，与系统中数据库模块的零件信息进行匹配与识别，确定待识别零件B的图号信息。对待识别零件B的视觉特征信息T_m的在线提取方法与构建零件数据库时对样本零件H_i的视觉特征信息V_i的提取方法完全一致。

待识别零件数据特征与数据库中的零件信息进行匹配与识别包括具体以下步骤：

S4.1对于待识别零件B，依次计算数据库中所有零件H_i的粗粒度特征向量v_ci与待识别零件B的粗粒度特征向量u_c两个特征向量间的距离D_i；

S4.2将所有距离值D_i小于距离阈值的对应零件称作匹配备选零件，记为A₀,A₁,...A_m，其中，m为满足距离阈值要求的零件个数；

S4.3通过模板匹配法或迭代最近点算法，计算匹配备选零件A₀,A₁,...A_m的辅助视觉特征信息V_ai与待识别零件B的辅助视觉特征信息T_a的相似度，筛选得到相似度结果大于辅助信息相似度阈值T_sim的细粒度备选零件A₀,A₁,...A_n，其中，n为满足大于辅助信息相似度阈值要求的零件个数。

通过模板匹配法或迭代最近点算法进行粗力度识别包括以下两个步骤：

1)如果零件辅助特征信息V_ai是由所有辅助图像I_ai组成，则使用模板匹配的方法，依次计算匹配备选零件A₀,A₁,...A_m的V_ai与待识别零件B的零件辅助特征信息T_a的相似度，根据相似度对匹配结果进行筛选；

2)如果零件辅助特征信息V_ai是由零件图形轮廓J_i组成，则使用迭代最近点算法，依次计算匹配备选零件A₀,A₁,...A_m的V_ai与待识别零件B的零件辅助特征信息T_a的相似度，根据相似度对匹配结果进行筛选。

零件图形轮廓提取算法为：利用拓扑结构分析以及边界追踪技术从二值图像中得到有序的轮廓点集合，通过层次结构对轮廓进行表示，从而有效地区分内、外轮廓，保证轮廓信息的完整性。

S5将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R。具体方法为：

1)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

2)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R。将旋转矩阵R通过旋转变换矩阵得到旋转角度θ

旋转变换矩阵：

旋转工作台自动调整零件旋转γ度使拍摄到的零件位于区分度最高的视角，使用辅助相机组拍摄一张或多张待识别零件的辅助图像K_a，提取相应的零件辅助特征信息T_a。

若粗粒度识别后匹配的相似度零件较多，则需要多次旋转工作台，用辅助相机拍摄多张辅助图片。使用与S2.2.2相同的提取方法的方法，提取相应的零件辅助特征信息T_ai，i＝1,2,……,n。

S6通过旋转矩阵R得出旋转工作台的旋转角度，旋转放置零件的工作台改变待识别零件B的位置和角度，用辅助相机再次采集零件的侧视图像。下一步用来和仿真零件信息对比。

S7获取上一步采集的辅助图像的零件轮廓信息，与系统中数据库模块的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，获得最终识别结果。

依次计算高相似度的细粒度备选零件A₀,A₁,...A_m的细粒度区分特征v_fi与待识别零件B的细粒度区分特征u_f的相似度，根据计算结果选择最相似的细粒度匹配零件的图号作为结果输出，从而确定待识别零件B的图号。

本发明通过计算拟合椭圆与水平方向夹角，将零件图形轮廓绕重心点旋转该角度后作为迭代最近点算法的初值，通过传统迭代最近点算法实现待识别零件轮廓与备选匹配零件轮廓间的匹配，并计算轮廓点对之间的平均距离作为相似度依据。本实例中统计了部分零件的特征数据及零件间的相对距离，如图6所示。

从数据分析上可以看出本发明方法具有良好的识别精度和鲁棒性，可以使用该发明对零件进行高效、稳定的识别。从视觉角度可以看出，使用迭代最近点算法对轮廓进行匹配，具有较好的识别效果，可以有效地对高相似度的零件进行识别。

另一方面，本发明还提供一种基于仿真图像的高相似度零件视觉识别系统，包括：

仿真零件构建模块，用于对已有的零件模型进行图形渲染，模拟出真实环境下的零件图像样貌，得到仿真零件；

仿真零件特征提取模块，用于提取不同种类的仿真零件的视觉特征信息，并将相关信息保存至数据库；

待识别零件特征提取模块，用于采用旋转工作台旋转所述待识别零件至合适位置拍摄零件的主视图像和侧视图像，提取待识别零件的视觉特征信息；

第一匹配模块，用于将待识别零件与仿真零件进行对比匹配筛选出多个高相似度的零件；

旋转矩阵获取模块，用于将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R；

1)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

2)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R。

位置调整模块，用于通过旋转矩阵R得出旋转工作台的旋转角度，将旋转矩阵R通过旋转变换矩阵得到旋转角度θ。通过直流电机控制旋转工作台，将零件位置转动至所需视角下

旋转变换矩阵：

旋转放置零件的旋转工作台进而改变待识别零件的位置和角度，用辅助相机再次采集零件的侧视图像；

第二匹配模块，根据上一步获得的实拍侧视图像获取所述待识别零件的轮廓信息，与数据库中的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，进而获得最相似的细粒度匹配仿真零件的图号。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于仿真图像的高相似度零件视觉识别方法，其特征在于，包括以下步骤：

(1)对已有的零件模型进行图形渲染，模拟出真实环境下的零件图像样貌，得到零件的仿真图像；

(2)人工选取区分度最高的区域，确定拍摄合适的角度，采集图像并提取相关特征信息入库；

(3)旋转工作台旋转待识别零件B至合适位置拍摄零件的主视图像和侧视图像，提取待识别零件的主视觉特征信息T_m和辅助视觉特征信息T_a；

(4)将待识别零件与高相似度仿真零件进行对比匹配筛选出高相似度零件；

(5)将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R；

(51)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

(52)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R；

(6)通过旋转矩阵R得出旋转工作台的旋转角度，将旋转矩阵R通过旋转变换矩阵得到旋转角度θ，通过直流电机控制旋转工作台，将零件位置转动至所需视角下，用辅助相机再次采集零件的侧视图像；

旋转变换矩阵：

(7)根据上一步获得的实拍侧视图像获取所述待识别零件的轮廓信息，与数据库中的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，进而获得最相似的细粒度匹配仿真零件的图号。

2.根据权利要求1所述的基于仿真图像的高相似度零件视觉识别方法，其特征在于，所述步骤(4)，具体包括：

(41)依次计算数据库中所有仿真零件H_i的粗粒度特征向量V_ci与待识别零件的粗粒度特征向量u_c两个特征向量间的距离D_i；

(42)将所有距离值D_i小于距离阈值的对应零件称作匹配备选零件；

(43)通过模板匹配法或迭代最近点算法，计算匹配备选零件A₀,A₁,...A_m的辅助视觉特征信息V_al与待识别零件B的辅助视觉特征信息T_a的相似度，筛选得到相似度结果大于辅助信息相似度阈值T_sim的细粒度备选零件A₀,A₁,...A_n，其中，n为满足大于辅助信息相似度阈值要求的零件个数；其中，m为满足距离阈值要求的零件个数。

3.根据权利要求2所述的基于仿真图像的高相似度零件视觉识别方法，其特征在于，所述步骤(43)包括：

若零件辅助视觉特征信息V_ai是由所有辅助图像I_ai组成，则使用模板匹配的方法，依次计算匹配备选零件的V_ai与待识别零件的零件辅助视觉特征信息T_a的相似度，根据相似度对匹配结果进行筛选；否则，

若零件辅助视觉特征信息V_ai是由零件图形轮廓J_i组成，则使用迭代最近点算法，依次计算匹配备选零件A₀,A₁,...A_m的V_ai与待识别零件B的零件辅助视觉特征信息T_a的相似度，根据相似度对匹配结果进行筛选。

4.根据权利要求3所述的基于仿真图像的高相似度零件视觉识别方法，其特征在于，所述零件图形轮廓提取算法为：利用拓扑结构分析以及边界追踪技术从二值图像中得到有序的轮廓点集合，通过层次结构对轮廓进行表示，从而有效地区分内、外轮廓，保证轮廓信息的完整性。

5.根据权利要求1所述的基于仿真图像的高相似度零件视觉识别方法，其特征在于，所述步骤(3)中，旋转工作台上方设置有龙门型支架，龙门型支架的横杆上设置有主相机，其两端的竖杆上设置有一个或多个辅助相机，所述主相机置于所述待识别零件的正上方，用于拍摄主视图像，辅助相机用于拍摄侧视图像。

6.一种基于仿真图像的高相似度零件视觉识别系统，其特征在于，包括：

仿真零件构建模块，用于对已有的零件模型进行图形渲染，模拟出真实环境下的零件图像样貌，得到零件仿真图像；

仿真零件特征提取模块，用于提取不同种类的仿真零件的视觉特征信息，并将相关信息保存至数据库；

待识别零件特征提取模块，用于采用旋转工作台旋转所述待识别零件至合适位置拍摄零件的主视图像和侧视图像，提取待识别零件的主视觉特征信息T_m和辅助视觉特征信息T_a；

第一匹配模块，用于将待识别零件与仿真零件进行对比匹配筛选出多个高相似度的零件；

旋转矩阵获取模块，用于将获取的待识别零件的图像与多个高相似度的仿真图像进行对比，获得真实图像轮廓与各个虚拟图像轮廓之间的旋转矩阵R；

(51)通过Canny算法提取仿真图像与待识别零件的实际拍摄图像的轮廓信息；

(52)使用ICP算法获取仿真图像轮廓到真实图像轮廓的转换矩阵R；

位置调整模块，用于通过旋转变换矩阵R得出旋转工作台的旋转角度，

将旋转矩阵R通过旋转换矩阵得到旋转角度θ通过直流电机控制旋转工作台，将零件位置转动至所需视角下，用辅助相机再次采集零件的侧视图像；

旋转变换矩阵：

第二匹配模块，根据上一步获得的实拍侧视图像获取所述待识别零件的轮廓信息，与数据库中的仿真零件信息进行匹配与识别，确定待识别零件的图号信息，进而获得最相似的细粒度匹配仿真零件的图号。