CN110866894B - 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法 - Google Patents

一种基于机器视觉技术的跨粒度的钣金件识别系统及方法 Download PDF

Info

Publication number
CN110866894B
CN110866894B CN201910947770.XA CN201910947770A CN110866894B CN 110866894 B CN110866894 B CN 110866894B CN 201910947770 A CN201910947770 A CN 201910947770A CN 110866894 B CN110866894 B CN 110866894B
Authority
CN
China
Prior art keywords
sheet metal
metal part
auxiliary
characteristic information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910947770.XA
Other languages
English (en)
Other versions
CN110866894A (zh
Inventor
吕政阳
张丽艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910947770.XA priority Critical patent/CN110866894B/zh
Publication of CN110866894A publication Critical patent/CN110866894A/zh
Application granted granted Critical
Publication of CN110866894B publication Critical patent/CN110866894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉技术的跨粒度的钣金件识别系统及方法,属于机器视觉技术领域,针对钣金件的结构外形特点,使用机器视觉相关技术,通过计算钣金件图像的形状因子及旋转不变矩作为粗粒度特征信息,提取钣金件图形轮廓数据作为细粒度特征信息,并结合侧面图像及其相关特征作为辅助信息构建钣金件数据库;在检测时,通过比较粗粒度特征信息间的欧氏距离和对细粒度特征信息进行相似度计算,实现跨粒度的钣金件分类与识别;在细粒度特征信息相似度计算前,通过模板匹配等方法对辅助信息进行比较并对匹配备选零件进行筛选,可进一步降低计算复杂度,保证分类的精度,对于具有高相似度特性的钣金件具有良好的适用性。

Description

一种基于机器视觉技术的跨粒度的钣金件识别系统及方法
技术领域
本发明属于机器视觉技术领域,尤其涉及一种基于机器视觉技术的跨粒度的钣金件识别系统及方法。
背景技术
钣金件在汽车、航空制造领域有着广泛且重要的应用。其中,航空钣金件约占飞机机体结构钣金件数的50%,具有品种多、批量小、曲面和曲线外形复杂、尺寸各异、厚度小和刚度差等特点。航空钣金件成形制造完成以后,需要进行批量表面喷漆。喷漆工艺后大量钣金件混杂在一起,需要重新识别以确定每个钣金件对应的图号。许多钣金件之间具有结构对称与自身对称的特点,相似度极高,如图3、图4所示。具有这一特点的钣金件可称为一族。
同一族内的钣金件往往较难区分,而不同族的钣金件区分难度相对较低。而且,航空钣金件的分类识别问题中存在着无法设计使用统一的夹具、较难定位等问题,给分类工作造成了一定的难度。目前,针对高相似度钣金件的分类任务只能采取人工比对的方式进行,此方式不仅工作量较大,而且可靠性存在一定的问题,无法保证分类的精度。
目前,尚未有针对钣金件分类问题的识别方法的提出;现有的基于机器视觉的零件分类方法,由于没有结合航空钣金件自身特点,直接应用于航空钣金件的分类识别的过程中存在着计算复杂度高、识别精度很低等问题。同时,在航空制造领域,结构件等航空零件的识别任务也存在着相似的问题,需要一种适用性强、计算复杂度低、识别准确且高效的分类方法。
发明内容
本发明针对现有技术中存在的不足,提出了一种基于机器视觉技术的跨粒度的钣金件识别系统及方法,本发明的系统以及识别方法具有识别速度快、分类效率高、可对高相似度航空钣金件进行有效区分的特点,有效地提高了零件识别速度并且可以保证分类的精度与可靠性。
本发明是这样实现的:
一种基于机器视觉技术的跨粒度的钣金件识别系统,所述的系统包括视觉工作平台、交互界面模块、图像获取模块、激光信息提供模块、特征提取模块、匹配计算模块、数据库模块、启动/终止模块;所述的图像获取模块包括主相机、辅助相机组;所述的主相机位于视觉工作平台正上方、光轴垂直于视觉工作平台;所述的辅助相机组位于视觉工作平台侧面,并且光轴与视觉工作平台间形成夹角;其中主相机拍摄主图像,记为Imi;辅助相机组包括一个或多个相机,拍摄一张或多张辅助图像,所有辅助图像记为Iai
进一步,所述的视觉工作平台用于放置钣金件;所述的交互界面模块用于实现人机交互,完成钣金件图号信息的输入、相机数据界面的实时呈现、钣金件辅助分类信息的显示与分类结果的输出显示的任务;所述的图像获取模块获取主图像以及辅助图像;所述的激光信息提供模块,用于通过线激光发生器在钣金件上投射激光线条纹;所述的特征提取模块,用于对钣金件图像进行处理,并提取图像视觉特征信息Fi;所述的匹配计算模块针对图像视觉特征信息Fi,采取相应的算法进行计算,完成钣金件图像的分类与识别;所述的数据库模块,用于保存和检索钣金件图像、钣金件数据特征及对应的钣金件图号信息;所述的启动/终止模块,用于控制图像获取模块、辅助信息提供模块开始与结束工作。
本发明还提供了一种基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的方法步骤如下:
步骤一、利用钣金件识别系统依次提取不同种类的钣金件Ci的视觉特征信息Fi,并将信息保存至系统中的数据库模块;其中,i为当前钣金件编号,i=1,2,……,n,其中n为所有钣金件的种类总数;
步骤二、在线提取待识别钣金件W的视觉特征信息U,与系统中数据库模块的钣金件信息进行匹配与识别,确定待识别钣金件W的图号信息。
进一步,所述的步骤一具体为:
1.1、依次从样本钣金件实体库中取出图号已知的Ci类钣金件的一个样件Si,i=1,2,……,n,将该类钣金件Ci的图号通过交互界面模块输入至钣金件识别系统中的数据库模块;
1.2、将样本钣金件Si,i=1,2,……,n,放置在视觉工作平台上,使用主相机拍摄主图像Imi,并提取钣金件主视觉特征信息Fmi;使用辅助相机组拍摄一张或多张辅助图像Iai,并提取相应的钣金件辅助视觉特征信息Fai
1.3、钣金件主视觉特征信息Fmi与钣金件辅助视觉特征信息Fai共同组成钣金件视觉特征信息Fi,将钣金件图号、钣金件视觉特征信息Fi共同保存在钣金件数据库中。
进一步,所述的步骤1.2中,针对主图像Imi的钣金件主视觉特征Fmi,其提取算法的具体包括:
1)对钣金件主图像Imi进行高斯滤波去除图像中的噪声点,并进行阈值化处理得到二值化图像;
2)提取主图像Imi的形状因子及旋转不变矩特征数据,选取l种特征数据组成l维特征向量fci=(x1,x2,……,xl)T,其中i为当前钣金件编号,x1,x2,……,xl为各特征值,fci为钣金件粗粒度区分特征;提取主图像Imi的钣金件图形轮廓数据作为钣金件细粒度区分特征ffi;将钣金件粗粒度fci
细粒度区分特征ffi共同作为钣金件主视觉特征信息Fmi
进一步,所述的步骤1.2中,使用辅助相机组拍摄一张或多张辅助图像Iai,使用以下任意一种方法提取相应的钣金件辅助特征信息Fai
1)保存所有辅助图像Iai中的钣金件图形Gi作为钣金件辅助特征信息Fai
2)提取所有辅助图像Iai的钣金件图形轮廓Bi作为钣金件辅助特征信息Fai
3)打开激光信息提供模块,将激光线条纹投射至钣金件上,提取辅助图像Iai中激光线条纹轮廓Li作为钣金件辅助特征信息Fai
进一步,所述的步骤二中,对待识别钣金件W的视觉特征信息U的在线提取方法与构建钣金件数据库时对样本钣金件Si的视觉特征信息Fi的提取方法完全一致。
进一步,所述的步骤二具体为:
2.1、对于待识别钣金件W,使用如下公式,依次计算数据库中所有钣金件Ci的粗粒度特征向量fci与待识别钣金件W的粗粒度特征向量uc两个特征向量间的欧氏距离Di
Figure GDA0002323590790000041
其中l为粗粒度特征向量fci的维数,xj为Fi第j个特征值,yj为uc第j个特征值;
2.2、将所有欧氏距离值Di小于距离阈值Tdis的对应钣金件称作匹配备选钣金件,记为A0,A1,……,Am,其中m为满足距离阈值要求的钣金件个数;
2.3、通过模板匹配法或迭代最近点算法,计算匹配备选钣金件A0,A1,……,Am的辅助视觉特征信息Fai与待识别钣金件W的辅助视觉特征信息Ua的相似度,筛选得到相似度结果大于辅助信息相似度阈值Tsim的细粒度备选钣金件A0,A1,……,Ak,其中k为满足大于辅助信息相似度阈值要求的钣金件个数;
2.4、根据迭代最近点算法依次计算细粒度备选钣金件A0,A1,……,Ak的细粒度区分特征ffi与待识别钣金件W的细粒度区分特征uf的相似度,根据计算结果选择最相似的细粒度匹配钣金件Afina的图号作为结果输出,从而确定待识别钣金件W的图号。
进一步,所述的步骤2.3之前,系统将通过交互界面模块显示匹配备选钣金件A0,A1,……,Am保存在数据库中的辅助图像Iai与视觉特征信息Fai,引导用户调整钣金件的摆放朝向、摆放状态一致。
进一步,所述的步骤2.3具体为:
1)若钣金件辅助特征信息Fai是由所有辅助图像Iai组成,则使用模板匹配的方法,依次计算匹配备选钣金件A0,A1,……,Am的Fai与待识别钣金件W的钣金件辅助特征信息Ua的相似度,根据相似度对匹配结果进行筛选;
2)若钣金件辅助特征信息Fai是由钣金件图形轮廓Bi或激光线条纹轮廓Li组成,则使用迭代最近点算法,依次计算匹配备选钣金件A0,A1,……,Am的Fai与待识别钣金件W的钣金件辅助特征信息Ua的相似度,根据相似度对匹配结果进行筛选。
本发明与现有技术的有益效果在于:
1.本发明提取具有旋转不变性的视觉特征数据作为粗粒度区分特征,不仅具有较好的零件族间可分性,同时具有较强的鲁棒性。可适用于不同表面加工状态下的零件分类。
2.本发明通过对所有轮廓的提取与整合较为完整地保留了零件图形信息,进而保证了分类的精度与可靠性。
3.本发明通过采用跨粒度的分类步骤,分阶段完成零件的识别,降低了计算量,节约了人工分类的成本,有效地提高了零件识别速度。
附图说明
图1为本发明方法中保存钣金件信息至数据库中的流程示意图;
图2为本发明方法中对待识别钣金件进行图号确认的流程示意图;
图3为本发明实施例中一组高相似度钣金件(类型一)正反面主图像示例图;
图4为本发明实施例中一组高相似度钣金件(类型二)正反面主图像示例图;
图5为本发明实施例中带有激光线条纹的钣金件辅助图像示例图;
图6为本发明一种基于机器视觉技术的跨粒度零件识别系统的结构示意图;
图7为本发明实施例中两种不同的钣金件主视觉细粒度特征信息匹配结果;
图8本发明实施例中同一种钣金件主视觉细粒度特征信息匹配结果。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚,明确,以下列举实例对本发明进一步详细说明。应当指出此处所描述的具体实施仅用以解释本发明,并不用于限定本发明。
如图6所示,图6为本发明一种基于机器视觉技术的跨粒度零件识别系统的结构示意图,本发明的系统包括视觉工作平台、交互界面模块、图像获取模块、激光信息提供模块、特征提取模块、匹配计算模块、数据库模块、启动/终止模块;视觉工作平台,用于放置钣金件。交互界面模块,用于实现人机交互,完成钣金件图号信息的输入、相机数据界面的实时呈现、钣金件辅助分类信息的显示与分类结果的输出显示等任务。图像获取模块,包括位于视觉工作平台正上方、光轴垂直于视觉工作平台的主相机,以及位于视觉工作平台侧面,光轴与视觉工作平台成一定夹角的辅助相机组。其中主相机用于拍摄主图像,记为Imi;辅助相机组包括一个或多个相机,用于拍摄一张或多张辅助图像,所有辅助图像记为Iai。激光信息提供模块,用于通过线激光发生器在钣金件上投射激光线条纹。特征提取模块,用于对钣金件图像进行处理,并提取图像视觉特征信息Fi。匹配计算模块,针对图像视觉特征信息Fi,采取相应的算法进行计算,完成钣金件图像的分类与识别。数据库模块,用于保存和检索钣金件图像、钣金件数据特征及对应的钣金件图号信息。启动/终止模块,用于控制图像获取模块、辅助信息提供模块开始与结束工作。
本发明公开了基于机器视觉技术的跨粒度钣金零件识别方法,包括以下步骤:
S1.依次提取不同种类的钣金件Ci的视觉特征信息Fi,并将信息保存至系统中的数据库模块,如图1所示。其中,i为当前钣金件编号,i=1,2,……,n,其中n为所有钣金件的种类总数。所述步骤S1具体步骤包括:
S1.1依次从样本钣金件实体库中取出图号已知的Ci类钣金件的一个样件Si,i=1,2,……,n,将该类钣金件Ci的图号通过交互界面模块输入至钣金件识别系统中的数据库模块。
S1.2将样本钣金件Si,i=1,2,……,n,放置在视觉工作平台上,使用主相机拍摄主图像Imi,并提取钣金件主视觉特征信息Fmi;使用辅助相机组拍摄一张或多张辅助图像Iai,并提取相应的钣金件辅助视觉特征信息Fai。钣金件主视觉特征信息Fmi与钣金件辅助视觉特征信息Fai共同组成钣金件视觉特征信息Fi。将钣金件图号、钣金件视觉特征信息Fi共同保存在钣金件数据库中。
需要说明的是,本实施实例中使用AVT Mako G-158B PoE相机作为主相机,成像分辨率1456像素x1088像素,搭配使用焦距为8mm的Schneider Kreuznach1.4-8工业相机镜头。采集的图像如图3所示。
本发明实施例中钣金件主视觉特征Fmi提取算法的具体步骤包括:
S1.2.1对钣金件主图像Imi进行高斯滤波去除图像中的噪声点,并进行阈值化处理得到二值化图像;
S1.2.2提取主图像Imi的形状因子及旋转不变矩特征数据,选取二值化零件图形的轮廓周长、面积数值;对零件图形进行最小外接椭圆拟合,计算拟合椭圆的长轴、短轴长度;计算图形最小包围盒面积;计算图形最小外接圆的半径;计算图形的1阶、2阶Hu矩及0阶、2阶Zernike矩组成10维特征向量fci=(x1,x2,……,x10)T,其中i为当前钣金件编号,x1,x2,……,x10为各特征值,fci为钣金件粗粒度区分特征;提取主图像Imi的钣金件图形轮廓数据作为钣金件细粒度区分特征ffi;将钣金件粗粒度fci、细粒度区分特征ffi共同作为钣金件主视觉特征信息Fmi
本实例中以8种航空高相似度钣金件作为实例,提取了不同钣金件Ci的主视觉特征Fmi,其中钣金件粗粒度区分特征fci如表1所示。表1第一列的字母及数字组合依次代表各零件的面积、周长、拟合椭圆主轴长、短轴长、最小包围盒面积、最大外接圆半径、1阶Hu矩、2阶Hu矩、0阶Zernike矩、2阶Zernike矩数值。
表1
编号 C1 C2 C3 C4 C5 C6 C7 C8
S 71.800 73.200 643.800 640.100 485.800 488.700 315.200 319.000
A 1429.608 1446.000 6762.846 6655.126 4949.730 5208.286 6159.470 6452.262
Ma 187.622 190.486 1258.476 1263.894 547.601 539.816 4497.724 3393.972
Sa 610.589 625.063 1801.838 1793.930 1792.306 1800.536 16141.080 13273.750
MBB 176.000 148.100 2511.900 2575.700 1629.100 1559.000 2668.600 2417.400
MO 272.090 276.366 1060.998 1057.470 822.566 826.451 1131.048 1132.318
Hu1 6.774 6.773 5.887 5.884 6.219 6.212 5.109 5.121
Hu2 14.014 14.017 12.401 12.403 12.645 12.629 10.606 10.636
Z00 0.224 0.224 0.081 0.086 0.120 0.117 0.167 0.170
Z20 0.267 0.277 0.322 0.280 0.456 0.490 0.271 0.279
钣金件图形轮廓提取算法为,利用拓扑结构分析以及边界追踪技术从二值图像中得到有序的轮廓点集合,通过层次结构对轮廓进行表示,从而有效地区分内、外轮廓,保证轮廓信息的完整性。
本实施实例中使用一个AVT Mako G-158B PoE相机作为辅助相机,成像分辨率1456像素x1088像素,搭配使用焦距为12mm的Kowa 1.4-12工业相机镜头,采集的图像如图6所示。同时系统中的激光信息提供模块使用单线激光发生器向钣金件投射单线激光条纹。
需要说明的是,使用辅助相机组拍摄一张辅助图像Iai,本实例采用的提取钣金件辅助特征信息Fai的方法为:
打开激光信息提供模块,将激光线条纹投射至钣金件上,提取辅助图像Iai中激光线条纹轮廓Li作为钣金件辅助特征信息Fai
S2.在线提取待识别钣金件W的视觉特征信息U,与系统中数据库模块的钣金件信息进行匹配与识别,确定待识别钣金件W的图号信息。对待识别钣金件W的视觉特征信息U的在线提取方法与构建钣金件数据库时对样本钣金件Si的视觉特征信息Fi的提取方法完全一致,如图2所示。步骤S2中待识别零件数据特征与数据库中的零件信息进行匹配与识别包括具体以下步骤:
S2.1对于待识别钣金件W,使用如下公式,依次计算数据库中所有钣金件Ci的粗粒度特征向量fci与待识别钣金件W的粗粒度特征向量uc两个特征向量间的欧氏距离Di
Figure GDA0002323590790000081
其中,xj为Fi第j个特征值,yj为uc第j个特征值。
S2.2将所有欧氏距离值Di小于距离阈值Tdis的对应钣金件称作匹配备选钣金件,记为A0,A1,……,Am,其中m为满足距离阈值要求的钣金件个数。
S2.3计算匹配备选钣金件A0,A1,……,Am的辅助视觉特征信息Fai与待识别钣金件W的辅助视觉特征信息Ua的相似度,通过模板匹配法或迭代最近点算法比较计算结果与辅助信息相似度阈值Tsim,完成进一步的筛选,得到细粒度备选钣金件A0,A1,……,Ak。其中k为满足辅助信息相似度阈值要求的钣金件个数。
S2.4根据迭代最近点算法依次计算细粒度备选钣金件A0,A1,……,Ak的细粒度区分特征ffi与待识别钣金件W的细粒度区分特征uf的相似度,根据计算结果选择最相似的细粒度匹配钣金件Afina的图号作为结果输出,从而确定待识别钣金件W的图号。
需要说明的是,在所述步骤S2.3之前,系统将通过交互界面模块显示匹配备选钣金件A0,A1,……,Am的辅助图像Iai与视觉特征信息Fai,引导用户调整钣金件,使其与交互界面所显示的辅助图像中的摆放朝向、摆放状态一致。
本实例中使用迭代最近点算法,依次计算匹配备选钣金件A0,A1,……,Am的Fai与待识别钣金件W的辅助特征信息Ua的相似度,根据相似度对匹配结果进行筛选。
本发明通过计算拟合椭圆与水平方向夹角,将钣金件图形轮廓绕重心点旋转该角度后作为迭代最近点算法的初值,通过传统迭代最近点算法实现待识别零件轮廓与备选匹配零件轮廓间的匹配,并计算轮廓点对之间的平均欧氏距离作为相似度依据。本实例中,待识别钣金件与数据库中不同种航空钣金件轮廓匹配效果如图7所示,待识别钣金件与数据库中同一种航空钣金件匹配效果如图8所示。以8种航空钣金件为例,匹配误差值如表2所示。
表2
Figure GDA0002323590790000091
从表1、表2的数据分析上可以看出本发明方法具有良好的识别精度和鲁棒性,可以使用该发明对零件进行高效、稳定的识别。而且结合图7、图8,从视觉角度可以看出,使用迭代最近点算法对轮廓进行匹配,具有较好的识别效果,可以有效地对高相似度的零件进行识别。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉技术的跨粒度的钣金件识别系统,其特征在于,所述的系统包括视觉工作平台、交互界面模块、图像获取模块、激光信息提供模块、特征提取模块、匹配计算模块、数据库模块、启动/终止模块;所述的图像获取模块包括主相机、辅助相机组;所述的主相机位于视觉工作平台正上方、光轴垂直于视觉工作平台;所述的辅助相机组位于视觉工作平台侧面,并且光轴与视觉工作平台间形成夹角;其中主相机拍摄主图像,记为Imi;辅助相机组包括一个或多个相机,拍摄一张或多张辅助图像,所有辅助图像记为Iai;所述的视觉工作平台用于放置钣金件;所述的交互界面模块用于实现人机交互,完成钣金件图号信息的输入、相机数据界面的实时呈现、钣金件辅助分类信息的显示与分类结果的输出显示的任务;所述的图像获取模块获取主图像以及辅助图像;所述的激光信息提供模块,用于通过线激光发生器在钣金件上投射激光线条纹;所述的特征提取模块,用于对钣金件图像进行处理,并提取图像视觉特征信息Fi;所述的匹配计算模块针对图像视觉特征信息Fi,采取相应的识别方法完成钣金件图像的分类与识别;所述的数据库模块,用于保存和检索钣金件图像、钣金件数据特征及对应的钣金件图号信息;所述的启动/终止模块,用于控制图像获取模块、辅助信息提供模块开始与结束工作;
对于待识别钣金件W,使用如下公式,依次计算数据库中所有钣金件Ci的粗粒度特征向量fci与待识别钣金件W的粗粒度特征向量uc两个特征向量间的欧氏距离Di
Figure QLYQS_1
其中l为粗粒度特征向量fci的维数,xj为Fi第j个特征值,yj为uc第j个特征值;
将所有欧氏距离值Di小于距离阈值Tdis的对应钣金件称作匹配备选钣金件,记为A0,A1,……,Am,其中m为满足距离阈值要求的钣金件个数;
通过模板匹配法或迭代最近点算法,计算匹配备选钣金件A0,A1,……,Am的辅助视觉特征信息Fai与待识别钣金件W的辅助视觉特征信息Ua的相似度,筛选得到相似度结果大于辅助信息相似度阈值Tsim的细粒度备选钣金件A0,A1,……,Ak,其中k为满足大于辅助信息相似度阈值要求的钣金件个数;
根据迭代最近点算法依次计算细粒度备选钣金件A0,A1,……,Ak的细粒度区分特征ffi与待识别钣金件W的细粒度区分特征uf的相似度,根据计算结果选择最相似的细粒度匹配钣金件Afina的图号作为结果输出,从而确定待识别钣金件W的图号。
2.一种基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的方法步骤如下:
步骤一、利用钣金件识别系统依次提取不同种类的钣金件Ci的视觉特征信息Fi,并将信息保存至系统中的数据库模块;其中,i为当前钣金件编号,i=1,2,……,n,其中n为所有钣金件的种类总数;
步骤二、在线提取待识别钣金件W的视觉特征信息U,与系统中数据库模块的钣金件信息进行匹配与识别,确定待识别钣金件W的图号信息;所述的步骤二具体为:
2.1、对于待识别钣金件W,使用如下公式,依次计算数据库中所有钣金件Ci的粗粒度特征向量fci与待识别钣金件W的粗粒度特征向量uc两个特征向量间的欧氏距离Di
Figure QLYQS_2
其中l为粗粒度特征向量fci的维数,xj为Fi第j个特征值,yj为uc第j个特征值;
2.2、将所有欧氏距离值Di小于距离阈值Tdis的对应钣金件称作匹配备选钣金件,记为A0,A1,……,Am,其中m为满足距离阈值要求的钣金件个数;
2.3、通过模板匹配法或迭代最近点算法,计算匹配备选钣金件A0,A1,……,Am的辅助视觉特征信息Fai与待识别钣金件W的辅助视觉特征信息Ua的相似度,筛选得到相似度结果大于辅助信息相似度阈值Tsim的细粒度备选钣金件A0,A1,……,Ak,其中k为满足大于辅助信息相似度阈值要求的钣金件个数;
2.4、根据迭代最近点算法依次计算细粒度备选钣金件A0,A1,……,Ak的细粒度区分特征ffi与待识别钣金件W的细粒度区分特征uf的相似度,根据计算结果选择最相似的细粒度匹配钣金件Afina的图号作为结果输出,从而确定待识别钣金件W的图号。
3.根据权利要求2所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤一具体为:
1.1、依次从样本钣金件实体库中取出图号已知的Ci类钣金件的一个样件Si,i=1,2,……,n,将该类钣金件Ci的图号通过交互界面模块输入至钣金件识别系统中的数据库模块;
1.2、将样本钣金件Si,i=1,2,……,n,放置在视觉工作平台上,使用主相机拍摄主图像Imi,并提取钣金件主视觉特征信息Fmi;使用辅助相机组拍摄一张或多张辅助图像Iai,并提取相应的钣金件辅助视觉特征信息Fai
1.3、钣金件主视觉特征信息Fmi与钣金件辅助视觉特征信息Fai共同组成钣金件视觉特征信息Fi,将钣金件图号、钣金件视觉特征信息Fi共同保存在钣金件数据库中。
4.根据权利要求3所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤1.2中,针对主图像Imi的钣金件主视觉特征Fmi,其提取算法具体包括:
1)对钣金件主图像Imi进行高斯滤波去除图像中的噪声点,并进行阈值化处理得到二值化图像;
2)提取主图像Imi中的特征数据,选取l种特征数据组成l维特征向量fci=(x1,x2,……,xl)T,其中i为当前钣金件编号,x1,x2,……,xl为各特征值,fci为钣金件粗粒度区分特征;提取主图像Imi的钣金件图形轮廓数据作为钣金件细粒度区分特征ffi;将钣金件粗粒度fci、细粒度区分特征ffi共同作为钣金件主视觉特征信息。
5.根据权利要求3所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤1.2中,使用辅助相机组拍摄一张或多张辅助图像Iai,使用以下任意一种方法提取相应的钣金件辅助特征信息Fai
1)保存所有辅助图像Iai中的钣金件图形Gi作为钣金件辅助特征信息Fai
2)提取所有辅助图像Iai的钣金件图形轮廓Bi作为钣金件辅助特征信息Fai
3)打开激光信息提供模块,将激光线条纹投射至钣金件上,提取辅助图像Iai中激光线条纹轮廓Li作为钣金件辅助特征信息Fai
6.根据权利要求3所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤二中,对待识别钣金件W的视觉特征信息U的在线提取方法与构建钣金件数据库时对样本钣金件Si的视觉特征信息Fi的提取方法完全一致。
7.根据权利要求2所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤2.3之前,系统将通过交互界面模块显示匹配备选钣金件A0,A1,……,Am保存在数据库中的辅助图像Iai与视觉特征信息Fai,引导用户调整钣金件,使其与交互界面所显示的辅助图像中的摆放朝向、摆放状态一致。
8.根据权利要求2所述的基于机器视觉技术的跨粒度的钣金件识别系统的识别方法,其特征在于,所述的步骤2.3具体为:
1)若钣金件辅助特征信息Fai是由所有辅助图像Iai组成,则使用模板匹配的方法,依次计算匹配备选钣金件A0,A1,……,Am的Fai与待识别钣金件W的钣金件辅助特征信息Ua的相似度,根据相似度对匹配结果进行筛选;
2)若钣金件辅助特征信息Fai是由钣金件图形轮廓Bi或激光线条纹轮廓Li组成,则使用迭代最近点算法,依次计算匹配备选钣金件A0,A1,……,Am的Fai与待识别钣金件W的钣金件辅助特征信息Ua的相似度,根据相似度对匹配结果进行筛选。
CN201910947770.XA 2019-10-08 2019-10-08 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法 Active CN110866894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947770.XA CN110866894B (zh) 2019-10-08 2019-10-08 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947770.XA CN110866894B (zh) 2019-10-08 2019-10-08 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法

Publications (2)

Publication Number Publication Date
CN110866894A CN110866894A (zh) 2020-03-06
CN110866894B true CN110866894B (zh) 2023-05-26

Family

ID=69652115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947770.XA Active CN110866894B (zh) 2019-10-08 2019-10-08 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法

Country Status (1)

Country Link
CN (1) CN110866894B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132783B (zh) * 2020-08-21 2022-09-20 成都飞机工业(集团)有限责任公司 一种基于数字图像处理技术的零件识别方法
CN112232376A (zh) * 2020-09-21 2021-01-15 埃夫特智能装备股份有限公司 一种基于Hu-moment的钣金件识别方法
CN113763310A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 用于分割图像的方法和装置
CN112488207B (zh) * 2020-12-02 2023-09-22 江苏科技大学 一种基于仿真图像的高相似度零件视觉识别方法及系统
CN113408643B (zh) * 2021-06-30 2022-11-18 成都飞机工业(集团)有限责任公司 一种基于示教机器人辅助的钣金件识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538672A (zh) * 2011-12-16 2012-07-04 中北大学 一种基于cmos机器视觉零件尺寸测量系统及测量检验方法
CN102706274A (zh) * 2012-04-25 2012-10-03 复旦大学 工业结构化场景中机器视觉精确定位机械零件的系统
CN104048968A (zh) * 2014-06-04 2014-09-17 上海美迪索科电子科技有限公司 一种工业加工零件自动缺陷识别系统
CN109406545A (zh) * 2018-10-23 2019-03-01 成都安亨达信息技术咨询有限公司 一种基于机器视觉的电路板测点自动定位系统
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9476730B2 (en) * 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538672A (zh) * 2011-12-16 2012-07-04 中北大学 一种基于cmos机器视觉零件尺寸测量系统及测量检验方法
CN102706274A (zh) * 2012-04-25 2012-10-03 复旦大学 工业结构化场景中机器视觉精确定位机械零件的系统
CN104048968A (zh) * 2014-06-04 2014-09-17 上海美迪索科电子科技有限公司 一种工业加工零件自动缺陷识别系统
CN109406545A (zh) * 2018-10-23 2019-03-01 成都安亨达信息技术咨询有限公司 一种基于机器视觉的电路板测点自动定位系统
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法

Also Published As

Publication number Publication date
CN110866894A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN110866894B (zh) 一种基于机器视觉技术的跨粒度的钣金件识别系统及方法
Vidal et al. 6D pose estimation using an improved method based on point pair features
CN110472674B (zh) 一种基于边缘和梯度特征的模板匹配算法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN105069790B (zh) 一种齿轮外观缺陷快速影像检测方法
CN107228860B (zh) 一种基于图像旋转周期特性的齿轮缺陷检测方法
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
CN111693534B (zh) 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN107622277B (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
US11568629B2 (en) System and method for finding and classifying patterns in an image with a vision system
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
KR20210038211A (ko) 이미지 마스킹을 이용한 불량 검사 방법
Zhang et al. Multi-scale defect detection of printed circuit board based on feature pyramid network
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
CN114863464A (zh) 一种pid图纸图件信息的二阶识别方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN110705553A (zh) 一种适用于车辆远景图像的划痕检测方法
CN112488207B (zh) 一种基于仿真图像的高相似度零件视觉识别方法及系统
CN108734059B (zh) 室内移动机器人物体识别方法
CN103871048B (zh) 一种基于直线基元的几何哈希法实时定位与匹配方法
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN110647925A (zh) 基于改进的line-mod模板匹配的刚性物体识别方法及装置
Kim et al. Camera module defect detection using gabor filter and convolutional neural network
Thuresson et al. Finding object categories in cluttered images using minimal shape prototypes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant