CN113705487B - 精密工件识别及工艺参数关联系统以及识别方法 - Google Patents

精密工件识别及工艺参数关联系统以及识别方法 Download PDF

Info

Publication number
CN113705487B
CN113705487B CN202111013561.1A CN202111013561A CN113705487B CN 113705487 B CN113705487 B CN 113705487B CN 202111013561 A CN202111013561 A CN 202111013561A CN 113705487 B CN113705487 B CN 113705487B
Authority
CN
China
Prior art keywords
workpiece
image
recognition
identification
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111013561.1A
Other languages
English (en)
Other versions
CN113705487A (zh
Inventor
余容平
欧阳�
李国鹏
苏欣
赖复尧
李柏林
熊鹰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202111013561.1A priority Critical patent/CN113705487B/zh
Publication of CN113705487A publication Critical patent/CN113705487A/zh
Application granted granted Critical
Publication of CN113705487B publication Critical patent/CN113705487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了精密工件识别及工艺参数关联系统,包括PC端识别系统;PC端识别系统包括识别装置,识别装置用于分别对热处理前和热处理后的工件进行拍照,识别装置对工件拍照时可获得多个不同角度的工件图像;PC端识别系统包括图像采集模块和图像识别模块;图像采集模块用于将热处理前的工件图像传回PC端,PC端根据工件编号自动建立工件图像模板库;图像识别模块用于将热处理后的工件图像传回PC端,并由PC端中的算法部分识别工件的类别,从而获得热处理后的工件编号,并根据识别获得的工件编号关联工件的工艺参数;本方案提供了一套可适应热处理工艺、加工对象范围广纹理复杂、识别技术通用性强的工件图像采集、识别及工艺参数关联的信息关联系统。

Description

精密工件识别及工艺参数关联系统以及识别方法
技术领域
本发明涉及精密工件识别技术领域,具体涉及精密工件识别及工艺参数关联系统以及识别方法。
背景技术
精密工件识别及工艺参数关联系统作为一种智能生产系统,如图1所示,被应用于工件自动化生产过程中热处理前后工件加工工艺参数的关联。工件生产流水线上不仅存在多种规格尺寸的工件,而且存在纹理复杂、形状多变、类间差异小等特点的工件。为实现精密工件热处理前后工艺参数的关联,需采集热处理前后工件的图像并利用图像识别算法将热处理前后的工件图像进行对比,识别出相似度最高的工件并将热处理前的工件工艺参数与热处理后的工件进行关联。工件识别及工艺参数关联系统可分为两个部分:①硬件部分;②软件及算法部分。精密工件的种类繁多,且类间存在的差异极小,甚至有的工件仅在侧面存在细微差异,若不能准确关联热处理前后工件的工艺参数将为后续的加工带来巨大的损失。例如:在精加工时,若热处理后工件的工艺参数匹配错误将导致机床打刀、精密工件报废等后果,严重时甚至会导致机床毁坏生产线停运等风险。
目前,对于工件热处理前后工艺参数的信息关联主要是采用人工分拣的方式,由经验丰富的工作人员人工分辨工件的类别然后根据类别人工关联工件的工艺参数,因而存在主观性大且效率低下等问题。因此,为提高精密工件的生产效率和自动化程度,减少人工干预,迫切需要研发出一种高效准确的精密工件自动识别及工艺参数关联系统。目前已有的工件识别及工艺参数关联的方法大都基于机器视觉技术,主要应用在数控加工时工件的加工参数输入,安装在机床上的扫描机通过扫描工件的识别码进行工件的识别及工件工艺参数的关联。由于扫描工件识别码的图像采集方式简单,图像质量比较稳定,易于机器视觉识别。如对比文件1,申请号为CN108663992A的中国专利,研制了一种可识别工件并自动输入工艺参数的数控机床,该机床利用机床上的扫描设备识别工件上的识别码并将机床控制系统中存储的工件识别码对应的工艺参数与工件进行关联,如图2所示;由于该方法需识别工件上的识别码,而在热处理过程中识别码容易被烧蚀导致热处理后的工件信息丢失,因此不能应用于热处理前后工件加工工艺参数的关联系统。如对比文件2,申请号为CN212456185U的中国专利,发明了一种生产线加工工艺视觉识别装置,该装置采用流水线上加装的摄像机多角度动态识别工件的类别并根据类别进行下一步的加工工艺。由于该方法针对的是连续加工工艺且面向的对象类间差异较大容易识别,而精密工件的热处理过程分割了粗精加工的连续性且面向的对象类间差异小难以识别,因此该方法不适用于工件热处理前后的工件识别及工艺参数的关联系统。如对比文件3,申请号为CN111571276A的中国专利,发明了一种可识别工件并自动输入工艺参数的数控机床及其加工方法,该方法通过图像采集单元采集机床装载夹上的工件图像并通过数据处理单元和控制单元识别工件的形状和工况从而确定工件的加工工艺。由于该方法仅适用于数控机床的自动化工艺生产,其通过工件形状来对工件进行识别不符合精密工件间极高相似度的实际生产情况且该方法不具备热处理前后工艺参数的关联性。
综上所述,目前基于机器视觉的工件识别及工艺参数关联方法存在以下三个问题:
1)现有的工件的识别与工艺参数关联方法需要连续的机加工工序作为基础,不能解决中间环节的中断(如炉内热处理)所导致的工艺参数信息丢失的问题。
2)现有的方法主要通过识别工件的形状来达到识别工件的目的,其适用于结构简单且类间差异较大的工件,对于形状相同且类间差异极小的工件来说这样的识别方法无法达到其生产需要。
3)现有的方法主要通过识别工件识别码并根据识别码信息自动关联其工艺参数,而标签类识别码在热处理过程中极易被烧蚀,因此这些方法不适用于具有热处理工艺的自动化生产线。
发明内容
本发明所要解决的技术问题是现有工件识别及工艺参数关联方法存在无法适应热处理工艺、加工对象简单、识别技术通用性不够理想等问题,目的在于提供一种识别装置、识别方法、精密工件识别及工艺参数关联系统,此为一套可适应热处理工艺、加工对象范围广、纹理复杂、识别技术通用性强的工件图像采集、识别及工艺参数关联的信息关联系统。
本发明通过下述技术方案实现:
精密工件识别及工艺参数关联系统,包括PC端识别系统;
所述PC端识别系统包括识别装置,所述识别装置用于分别对热处理前和热处理后的工件进行拍照,所述识别装置对工件拍照时可获得多个不同角度的工件图像;
所述PC端识别系统包括图像采集模块和图像识别模块;
所述图像采集模块用于将热处理前的工件图像传回PC端,PC端根据工件编号自动建立工件图像模板库;
所述图像识别模块用于将热处理后的工件图像传回PC端,并由PC端中的算法部分识别工件的类别,从而获得热处理后的工件编号,并根据识别获得的工件编号关联工件的工艺参数。
进一步优化,所述图像采集模块需根据工件种类和工艺参数对其进行类别编号,形成工件检索模板库。
进一步优化,所述图像识别模块用于获得与模板库中最相近的工件编号作为该工件的工件编号,并根据识别获得的工件编号分配其记录有对应工艺参数的射频芯片,从而实现热处理前后工件的工艺参数关联。
进一步优化,所述识别装置包括用于放置工件的工作台和设于工作台上的支架,还包括拍摄组件;
所述支架上设有多个拍摄组件,多个所述拍摄组件分设于工件侧面和顶部,用于从多个不同角度对工件进行拍照。
所述拍摄组件包括十字滑台和相机,所述相机和十字滑台滑动连接:所述相机可沿十字滑台平面的X轴和Y轴移动。
进一步优化,设于工件侧面的拍摄组件上设有条形光源,设于工件顶部的拍摄组件上设有环形光源。
一种工件识别方法,包括以下步骤:
第一步:将采集到的工件图像进行图像预处理;
第二步:将预处理后的工件图像进行特征提取,并监督特征提取网络的特征提取过程;
第三步:特征提取后,建立精密工件图像检索策略,采用度量学习的方式获取图像的嵌入特征向量,用于精密元件的图像检索;
所述工件识别方法是基于权利要求1~5任意一项所述的精密工件识别及工艺参数关联系统来实现。
进一步优化,所述图像预处理包括图像灰度化、图像降噪、图像增强、倾斜矫正和图像裁剪。
进一步优化,所述特征提取包括以下步骤:
将预处理后的工件图像输入到模块1获得一个卷积特征,并将该特征做全连接FC处理获得特征1;然后将模块1前半部分的卷积结果及模块2的卷积结果传递给模块3获得一个卷积特征,并将该特征做全连接FC处理获得特征2;
所述模块1和模块2为MobileNetV2的网络结构,模块3为新增的分支模块,FC表示全连接层。
进一步优化,使用差异度损失函数来监督特征提取过程,用于在同一视图下的精密工件图像中区分特征1和特征2;
使用相似度损失函数来监督同一工件不同视角图像的特征提取过程,用于统一表征不同视角下的精密工件。
进一步优化,使用三元组中心损失函数来监督特征提取网络的特征提取过程,使得精密工件图像的类内距离不断减小而类间距离不断增大,用于区分多个精密工件获取工件图像的嵌入特征向量。
本发明与现有技术相比,具有如下的优点和有益效果:
本发明提供了精密工件识别及工艺参数关联系统以及识别方法,对工件图像的采集装置,采用条形光源和环形光源,相机布置在装置的顶面和侧面,遮光板可根据需要进行升降调整,对拍摄装置的触发采用PLC控制,工件的载入可采用人工和机械自动载入的方式。对工件的识别,提出了通用性强的预处理方法,提出了鲁棒性强的多视角工件图像特征提取方法,针对细微差异工件单视角图像检索精度低的问题,提出使用分支结构网络模型在Similarity Loss和Different Loss的监督下提取不同视角下工件图像的公共特征,并利用三元组中心损失函数Triplet Center Loss将不同视角下工件的公共特征嵌入到特征空间获得其嵌入特征向量用于工件图像检索的方法。对热处理前后工件的工艺参数关联,提出了利用热处理前后图像检索结果获得的工件编号关联热处理前后工件工艺参数的方法,解决了热处理前后工件工艺参数的丢失问题。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。在附图中:
图1为现有技术中精密工件图像识别及工艺参数关联系统的结构示意图;
图2为对比文件1的结构示意图;
图3为本发明提供的识别装置的结构示意图;
图4为本发明提供的识别装置的局部示意图a;
图5为本发明提供的识别装置的局部示意图b;
图6为本发明提供的识别方法的特征提取网络结构图a;
图7为本发明提供的识别方法的特征提取网络结构图b;
图8为本发明提供的精密工件识别及工艺参数关联系统的基本流程图。
附图中标记及对应的零部件名称:
1-主机,2-显示器,3-提示灯,4-十字滑台,5-相机,6-环形光源,7-工件,8-支架,9-条形光源,10-触发按钮,11-工作台。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1:
本实施例1用于阐述本方案的硬件部分,即识别装置的具体结构,如图3-图5所示,精密工件识别及工艺参数关联系统,所述识别装置包括用于放置工件7的工作台11和设于工作台11上的支架,还包括拍摄组件;
所述支架上设有多个拍摄组件,多个所述拍摄组件分设于工件7侧面和顶部,用于从多个不同角度对工件7进行拍照;
所述拍摄组件包括十字滑台4和相机5,所述相机5和十字滑台4滑动连接:所述相机5可沿十字滑台4平面的X轴和Y轴移动。
本实施例中,支架8设于工作台11上,其中支架8呈方框形,其内带有多根支撑杆,多个十字滑台4固定于支架8上,并在工件7上方侧面和顶部均分设有多个十字滑台4,其中十字滑台4分为上下两个滑台,呈十字状,在支撑杆上固定设有支撑板,下滑台和支撑板滑动连接,上滑台和下滑台滑动连接,相机5固定于上滑台上,而在下滑台和上滑台上均带有丝杆调节螺母,用于带动相机5在十字滑台4基准平面上横向或纵向移动,即可微调相机5的拍摄位置,用于对准工件7,实现对工件7的多个不同角度进行拍摄;相机5拍摄完成后,能通过传输系统将工件7图像传输到一侧的主机1,主机1带有显示器2;而在支架8上还设有提示灯3,提示灯3的多种提示颜色用于表示PC端识别系统的不同工作状态,在支架8上还设有触发按钮10,触发按钮10用于控制相机5拍摄。
进一步优化,设于工件7侧面的拍摄组件上设有条形光源9,设于工件7顶部的拍摄组件上设有环形光源6。
本实施例中,其中设于工件7侧面的拍摄组件由于位于工件7上侧面,相机5倾斜设置,能更好的拍摄工件7整体的多个角度,并在每个拍摄组件处设置条形光源9,条形光源9位于相机5上方,用于使光照均匀;在工件7顶部的多个拍摄相机5竖向放置,用于拍摄工件7顶部图像,且多个拍摄相机5均位于环形光源6内,用于使光照均匀。
实施例2:
本实施例2在实施例1的基础上进一步优化,精密工件7识别及工艺参数关联系统,如图8所示,
工件7识别及工艺参数关联系统运行流程:
工件7识别及工艺参数的关联主要分为热处理前和热处理后两个部分。热处理前:进行工件7图像的采集及图像模板库的建立;热处理后:工件7的识别及工艺参数的关联。
热处理前,首先将PC端识别系统的工作状态调为图像采集模式,此时装置上方的提示灯3为黄色;然后将工件7放入(人工或机械自动载入均可)识别装置并点击触发按钮10对工件7进行拍照;最后数据处理及传输系统将拍照获得的工件7图像传回PC端并根据工件7编号自动建立工件7图像模板库。
热处理后,首先将PC端识别系统的工作状态调为图像识别模式,此时装置上方的提示灯3为绿色;然后将热处理后的工件7放入识别装置并点击触发按钮10对工件7进行拍照,传输系统将获得的图片传回PC端并由识别系统中的算法部分识别工件7的类别从而获得热处理后的工件7编号,此过程中提示灯3为红色;最后根据识别获得的工件7编号关联工件7的工艺参数,识别结束后提示灯3复位绿色。
其中图像采集模式的步骤由图像采集模块完成,图像识别模式的步骤由图像识别模块完成。
工件7图像的采集方案:
本实施例中,在采图装置在其侧面及顶面的不同位置安装有五组图像拍摄装置,通过相应的触发按钮10控制摄像头对工件7的各个角度进行拍摄,得到工件7各个角度状态下的图像。工件7图像的采集方案如图3所示,可分为热处理前工件7图像采集及模板库的建立、热处理后工件7识别及工艺参数关联两个环节,如下所述:
(1)热处理前工件7图像采集及模板库的建立
第一步:在PC端将识别系统的工作状态调为图像采集模式。
第二步:将工件7载入工作台11图像采集区并点击拍照触发按钮10,采图装置收到拍照指令后将指令传至3个侧面相机5和2个顶面相机5从不同角度对工件7进行拍照,最后将获得的5张工件7图像传回PC端。
第三步:将传回PC端的工件7图像根据其种类和工艺参数对其进行类别编号,形成工件7检索模板库。
至此,在热处理前工件7图像信息的采集和图像模板库的建立就准备完毕。
(2)热处理后工件7识别及工艺参数关联
第一步:在PC端将识别系统的工作状态调为识别模式。
第二步:将热处理后的工件7载入识别装置并点击拍照触发按钮10进行拍照,将获得的图片与热处理前获得的工件7模板库一一对比,获得与模板库中最相近的工件7编号作为该工件7的工件7编号。
第三步:根据识别获得的工件7编号分配其记录有对应工艺参数的射频芯片从而实现热处理前后工件7的工艺参数关联。
至此,在热处理前后工件7识别及工艺参数的关联步骤就宣告结束。
实施例3:
本实施例3在实施例2的基础上进一步优化,一种工件7识别方法,如图6和图7所示,
将采集到的工件7图像进行图像预处理;
第一步:图像预处理:
工件7存在纹理复杂、大小不一、材质多变、形状多变、摆放角度多样、光照不均等特点。为了减少这些因素对识别结果造成影响,将采集到的工件7图像进行预处理,以提高算法的鲁棒性和识别精度,包括:图像灰度化、图像降噪、图像增强、倾斜矫正和图像裁剪。
1.灰度化。工件7表面上的各种信息在颜色上有着极大的对比度,因此本发明使用彩色摄像头获取工件7的彩色图片。由于工件7在识别区停留的时间较短,为加快对工件7的识别速度,首先对获取的彩色图像进行灰度化,如公式(1)所示:
G(x,y)=0.299×R+0.587×G+0.114×B(1)
其中:为彩色图像的3个颜色分量。
2.中值滤波。为减少甚至避免工件7表面上噪声对箱号识别的影响,采用图像平滑技术对灰度图像进行去噪。经典的图像平滑包括空域法和频域法,由于频域法耗时大,故采用空域法中的中值滤波方法对工件7灰度图像进行平滑处理,中值滤波是抑制噪声的非线性方法,在保证图像轮廓和边界的同时,过滤掉图像的噪声。
3.直方图均衡化。对去噪后的工件7图片使用直方图均衡化处理,增强工件7图像的边缘,有利于后期的工件7倾斜矫正。
4.图像视角矫正。利用工件7区域的最小外接矩完成倾斜图像的旋转矫正,具体为:首先,寻找图像中工件7区域的最小外接矩并获得其四个顶点的坐标;然后,通过仿射变换完成倾斜工件7图像的旋转矫正。矫正前后对比的工件7图片对比如图4所示。
5.图像裁剪。拍摄的工件7图片不仅含有工件7的内容,还存在周围环境的背景信息。为了避免周围环境对工件7的识别带来影响,利用Sobel算子分别完成集装箱水平边缘和竖直边缘的检测,利用Hough直线检测定位集装箱的边缘,通过图像裁剪去掉周围环境的背景信息,只保留工件7区域的内容,如下图5所示。
第二步:特征提取:
1.特征提取网络结构设计:
采用改进的深度学习算法提取工件7图像的特征。该方法基于MobileNetV2改进而来,其网络结构如图6所示。其中模块1为MobileNetV2的网络结构,模块3为新增的分支模块。在提取精密工件7图像的特征时,首先将预处理后的工件7图像输入到模块1获得一个卷积特征,并将该特征做全连接FC处理获得特征1;然后将模块1前半部分的卷积结果及模块2的卷积结果传递给模块3获得一个卷积特征,并将该特征做全连接FC处理获得特征2。
其中模块3为新增的卷积模块,该模块取自于MobileNetV2网络的后半部分(即模块1去除模块2后的部分),但不同之处在于模块3在第一个Bottleneck功能块和第三个Bottleneck功能块处使用了与模块1后半部分不同的扩张系数t,其目的在于提取与特征1不尽相同的特征2。
在图6中,Filter表示卷积核个数,Kernel Size表示卷积核大小,Stride表示卷积步长,Out Channel表示输出通道数,t表示卷积通道扩张系数,Bottleneck表示反向残差结构的深度可分离卷积模块,结构如图7所示,Conv2d表示普通卷积块,Avgpool表示平均池化块,FC表示全连接层。
2.同一视图下精密工件7图像的特征筛选
为了将特征1和特征2区分开,使得特征1和特征2分别代表同一视图下精密工件7图像的两种特征属性,使用差异度损失函数Different Loss来监督特征提取过程,使得特征1和特征2趋于正交。差异度损失函数的定义如下:
其中||·||F表示Frobenius范数,Hc表示特征1,Hp表示特征2。
3.公共特征的提取
为统一表征不同视角下的精密工件7,使用相似度损失函数Similarity Loss来监督同一工件7不同视角图像的特征提取过程(即特征2和特征3的提取过程),使得特征2与特征3的欧氏距离趋近于0。其中相似度损失函数Similarity Loss的定义如下:
式中X和Y代表特征2和特征3,xi和yi分别代特征2和特征3第i个维度上的值。
4.嵌入特征向量的获取
精密工件7种类多样,部分工件7不同视角下图像的类内差异较大而类间差异较小。为了更好地区分这些工件7获取工件图像的嵌入特征向量,使用三元组中心损失函数Triplet-Center Loss来监督特征提取网络的特征提取过程,使得精密工件图像的类内距离不断减小而类间距离不断增大。假设给定的训练数据集由N个样本组成,其中xi∈X,与之对应的标签yi∈{1,2,…,|Y|},通过一个用f(θ)表示的神经网络将这些样本嵌入到d维的向量空间中。在Triplet-Center Loss中,假设来自同一类别的样本特征共享一个对应的中心,因此可以得到C={c1,c2,…,c|Y|},其中cy∈Rd表示标签为y的样本的中心向量,而|Y|表示样本中心的数量。给定一个由M个样本组成的batch,则三元组中心损失函数的定义为:
其中D(·)表示平方欧几里得距离,其定义如式(5)所示;m表示两个类别间的距离余量。
第三步:精密工件图像检索策略:
由于未知类的存在,精密工件图像的“匹配”问题不能以常规的分类问题来看待,所以采用度量学习的方式来获取图像的嵌入特征向量(embedding vector)用于精密工件的图像检索。检索的标准为计算测试图像的嵌入特征向量与模板库图像的嵌入特征向量之间的欧氏距离D;如果距离D中的最小元d小于阈值δ则判定该测试图像为模板库中的已知类,此时的检索结果就是最小距离d对应的模板库图像所对应的类;如果测试图像与模板库中各图像之间的最小距离d大于阈值δ则判定该测试图像为模板库以外的未知类。
其中y为测试图的标签,yi为最小距离d对应模板库图像的类别标签,θ为未知类。
至此,一套通用的工件识别及工艺参数关联方法叙述完毕。图8归纳了本发明对工件识别及工艺参数关联方法的基本流程。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.精密工件识别及工艺参数关联系统,其特征在于,包括PC端识别系统;
所述PC端识别系统包括识别装置,所述识别装置用于分别对热处理前和热处理后的工件进行拍照,所述识别装置对工件拍照时可获得多个不同角度的工件图像;
所述PC端识别系统包括图像采集模块和图像识别模块;
所述图像采集模块用于将热处理前的工件图像传回PC端,PC端根据工件编号自动建立工件图像模板库;
所述图像识别模块用于将热处理后的工件图像传回PC端,并由PC端中的算法部分识别工件的类别,从而获得热处理后的工件编号,并根据识别获得的工件编号关联工件的工艺参数;
所述图像识别模块用于获得与模板库中最相近的工件编号作为该工件的工件编号,并根据识别获得的工件编号分配其记录有对应工艺参数的射频芯片,从而实现热处理前后工件的工艺参数关联;
所述识别装置包括用于放置工件(7)的工作台(11)和设于工作台(11)上的支架(8),还包括拍摄组件;
所述支架(8)上设有多个拍摄组件,多个所述拍摄组件分设于工件侧面和顶部,用于从多个不同角度对工件进行拍照;
所述拍摄组件包括十字滑台(4)和相机(5),所述相机(5)和十字滑台(4)滑动连接:所述相机(5)可沿十字滑台(4)平面的X轴和Y轴移动。
2.根据权利要求1所述的精密工件识别及工艺参数关联系统,其特征在于,所述图像采集模块需根据工件种类和工艺参数对其进行类别编号,形成工件检索模板库。
3.根据权利要求1所述的精密工件识别及工艺参数关联系统,其特征在于,设于工件侧面的拍摄组件上设有条形光源(9),设于工件顶部的拍摄组件上设有环形光源(6)。
4.一种工件识别方法,其特征在于,包括以下步骤:
第一步:将采集到的工件图像进行图像预处理;
第二步:将预处理后的工件图像进行特征提取,并监督特征提取网络的特征提取过程;
第三步:特征提取后,建立精密工件图像检索策略,采用度量学习的方式获取图像的嵌入特征向量,用于精密元件的图像检索;
所述工件识别方法是基于权利要求1~3任意一项所述的精密工件识别及工艺参数关联系统来实现。
5.根据权利要求4所述的一种工件识别方法,其特征在于,所述图像预处理包括图像灰度化、图像降噪、图像增强、倾斜矫正和图像裁剪。
6.根据权利要求4所述的一种工件识别方法,其特征在于,所述特征提取包括以下步骤:
将预处理后的工件图像输入到模块1获得一个卷积特征,并将该特征做全连接FC处理获得特征1;然后将模块1前半部分的卷积结果及模块2的卷积结果传递给模块3获得一个卷积特征,并将该特征做全连接FC处理获得特征2;
所述模块1和模块2为MobileNetV2的网络结构,模块3为新增的分支模块,FC表示全连接层。
7.根据权利要求4所述的一种工件识别方法,其特征在于,使用差异度损失函数来监督特征提取过程,用于在同一视图下的精密工件图像中区分特征1和特征2;
使用相似度损失函数来监督同一工件不同视角图像的特征提取过程,用于统一表征不同视角下的精密工件。
8.根据权利要求7所述的一种工件识别方法,其特征在于,使用三元组中心损失函数来监督特征提取网络的特征提取过程,使得精密工件图像的类内距离不断减小而类间距离不断增大,用于区分多个精密工件获取工件图像的嵌入特征向量。
CN202111013561.1A 2021-08-31 2021-08-31 精密工件识别及工艺参数关联系统以及识别方法 Active CN113705487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111013561.1A CN113705487B (zh) 2021-08-31 2021-08-31 精密工件识别及工艺参数关联系统以及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111013561.1A CN113705487B (zh) 2021-08-31 2021-08-31 精密工件识别及工艺参数关联系统以及识别方法

Publications (2)

Publication Number Publication Date
CN113705487A CN113705487A (zh) 2021-11-26
CN113705487B true CN113705487B (zh) 2023-08-08

Family

ID=78658082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111013561.1A Active CN113705487B (zh) 2021-08-31 2021-08-31 精密工件识别及工艺参数关联系统以及识别方法

Country Status (1)

Country Link
CN (1) CN113705487B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612424A (zh) * 2022-03-10 2022-06-10 昆山缔微致精密电子有限公司 一种模具浇口装夹的高精度定位方法及系统
CN116721042A (zh) * 2023-08-10 2023-09-08 广东石油化工学院 基于多阈值二值化的摄像图像倾斜校正方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2602066A1 (de) * 1976-01-21 1977-07-28 Pietzsch Ludwig Verfahren und vorrichtung zum identifizieren eines werkstueckes
CN105009010A (zh) * 2013-03-07 2015-10-28 欧姆龙株式会社 控制系统、控制装置、图像处理装置及控制方法
CN105157562A (zh) * 2015-04-23 2015-12-16 北京航空航天大学 一种小空间复杂精密工件几何尺寸在线动态视觉测量系统及测量方法
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
CN106020158A (zh) * 2016-07-20 2016-10-12 上海交通大学 一种项目型产品加工工艺大数据支持系统
CN107000100A (zh) * 2014-08-07 2017-08-01 伊利诺斯工具制品有限公司 利用标记工具标记焊接工件的系统和方法
CN107004376A (zh) * 2014-06-27 2017-08-01 伊利诺斯工具制品有限公司 焊接系统操作员识别的系统和方法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN107657201A (zh) * 2016-07-23 2018-02-02 江西云晖生物芯片技术有限公司 Next系列产品图像特征识别系统及其识别方法
CN109635806A (zh) * 2018-12-12 2019-04-16 国网重庆市电力公司信息通信分公司 基于残差网络的电表数值识别方法
CN112074940A (zh) * 2018-03-20 2020-12-11 东京毅力科创株式会社 结合有集成半导体加工模块的自感知校正异构平台及其使用方法
CN112418317A (zh) * 2020-11-24 2021-02-26 西南交通大学 一种基于pso-svm的精密加工结构件识别分类的方法
CN113160147A (zh) * 2021-03-30 2021-07-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 热处理工件图像特征识别匹配系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9724795B2 (en) * 2013-11-07 2017-08-08 Apex Brands, Inc. Tooling system with visual identification of attached component
US20160250706A1 (en) * 2015-02-27 2016-09-01 Illinois Tool Works Inc. Welding system providing remote storage of video weld data

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2602066A1 (de) * 1976-01-21 1977-07-28 Pietzsch Ludwig Verfahren und vorrichtung zum identifizieren eines werkstueckes
CN105009010A (zh) * 2013-03-07 2015-10-28 欧姆龙株式会社 控制系统、控制装置、图像处理装置及控制方法
CN107004376A (zh) * 2014-06-27 2017-08-01 伊利诺斯工具制品有限公司 焊接系统操作员识别的系统和方法
CN107000100A (zh) * 2014-08-07 2017-08-01 伊利诺斯工具制品有限公司 利用标记工具标记焊接工件的系统和方法
CN105157562A (zh) * 2015-04-23 2015-12-16 北京航空航天大学 一种小空间复杂精密工件几何尺寸在线动态视觉测量系统及测量方法
CN105701476A (zh) * 2016-02-04 2016-06-22 合肥泰禾光电科技股份有限公司 一种基于机器视觉的生产线产品自动化识别系统及方法
CN106020158A (zh) * 2016-07-20 2016-10-12 上海交通大学 一种项目型产品加工工艺大数据支持系统
CN107657201A (zh) * 2016-07-23 2018-02-02 江西云晖生物芯片技术有限公司 Next系列产品图像特征识别系统及其识别方法
CN107192331A (zh) * 2017-06-20 2017-09-22 佛山市南海区广工大数控装备协同创新研究院 一种基于双目视觉的工件抓取方法
CN112074940A (zh) * 2018-03-20 2020-12-11 东京毅力科创株式会社 结合有集成半导体加工模块的自感知校正异构平台及其使用方法
CN109635806A (zh) * 2018-12-12 2019-04-16 国网重庆市电力公司信息通信分公司 基于残差网络的电表数值识别方法
CN112418317A (zh) * 2020-11-24 2021-02-26 西南交通大学 一种基于pso-svm的精密加工结构件识别分类的方法
CN113160147A (zh) * 2021-03-30 2021-07-23 西南电子技术研究所(中国电子科技集团公司第十研究所) 热处理工件图像特征识别匹配系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卷积神经网络在工件识别中的应用;甘露等;《组合机床与自动化加工技术》;第127-130页 *

Also Published As

Publication number Publication date
CN113705487A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN111951237B (zh) 外观视觉检测方法
CN113705487B (zh) 精密工件识别及工艺参数关联系统以及识别方法
WO2018000731A1 (zh) 一种曲面表面缺陷自动检测方法及其装置
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
CN110403232B (zh) 一种基于二级算法的烟支质量检测方法
CN112184648A (zh) 一种基于深度学习的活塞表面缺陷检测方法及系统
CN104597057B (zh) 一种基于机器视觉的柱状二极管表面缺陷检测装置
CN114638797A (zh) 一种基于线阵相机的铜表面缺陷检测方法及装置
CN113393426B (zh) 一种轧钢板表面缺陷检测方法
CN114820475B (zh) 边缘识别方法、系统、晶圆加工装置及晶圆与加工台同心状态确定方法
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN109358067A (zh) 基于计算机视觉的马达环形压敏电阻缺陷检测系统及方法
CN106780437B (zh) 一种快速qfn芯片塑封图像获取与放大方法
CN112304957A (zh) 一种基于机器视觉的外观缺陷智能检测方法及系统
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN118014933A (zh) 一种基于图像检测的缺陷检测识别方法和装置
CN109387524A (zh) 基于线性偏振光的螺纹缺陷检测方法及装置
TW419634B (en) Automatic detection system and method using bar code positioning
CN109583306B (zh) 一种基于机器视觉的纱管残留纱线检测方法
CN113145473A (zh) 一种水果智能分拣系统及方法
CN107248151A (zh) 一种基于机器视觉的液晶片智能检测方法及系统
CN111145254A (zh) 一种基于双目视觉的门阀毛坯定位方法
CN113160147B (zh) 热处理工件图像特征识别匹配系统
CN115753791A (zh) 基于机器视觉的缺陷检测方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant