CN112129809A - 一种基于视觉引导的铜片热阻率检测装置及其检测方法 - Google Patents
一种基于视觉引导的铜片热阻率检测装置及其检测方法 Download PDFInfo
- Publication number
- CN112129809A CN112129809A CN202010813605.8A CN202010813605A CN112129809A CN 112129809 A CN112129809 A CN 112129809A CN 202010813605 A CN202010813605 A CN 202010813605A CN 112129809 A CN112129809 A CN 112129809A
- Authority
- CN
- China
- Prior art keywords
- copper sheet
- coordinate system
- manipulator
- matrix
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 title claims abstract description 127
- 229910052802 copper Inorganic materials 0.000 title claims abstract description 127
- 239000010949 copper Substances 0.000 title claims abstract description 127
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 69
- 230000009466 transformation Effects 0.000 claims description 44
- 230000007246 mechanism Effects 0.000 claims description 25
- 238000013519 translation Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000000357 thermal conductivity detection Methods 0.000 claims description 16
- 239000000463 material Substances 0.000 claims description 15
- 238000010521 absorption reaction Methods 0.000 claims description 14
- 239000000523 sample Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 239000013256 coordination polymer Substances 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000009529 body temperature measurement Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000017525 heat dissipation Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 6
- 239000004698 Polyethylene Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- -1 polyethylene Polymers 0.000 description 2
- 229920000573 polyethylene Polymers 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 239000004372 Polyvinyl alcohol Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920002635 polyurethane Polymers 0.000 description 1
- 239000004814 polyurethane Substances 0.000 description 1
- 229920002451 polyvinyl alcohol Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/20—Investigating or analyzing materials by the use of thermal means by investigating the development of heat, i.e. calorimetry, e.g. by measuring specific heat, by measuring thermal conductivity
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉引导的铜片热阻率检测装置及其贴附方法,铜片热阻率检测装置包括机架与控制器,所述机架上形成有备料工位与检测工位,所述备料工位与检测工位处分别装载有铜片料盒与热导率检测机构,所述机架上设有位于所述热导率检测机构旁侧的机械手,所述机架的上方设有两个分别与所述铜片料盒及热导率检测机构相对的面阵相机,所述机械手上设有LED矩阵及柔性海绵吸头,所述热导率检测机构、面阵相机及机械手均与所述控制器通讯连接。根据本发明,其提高了检测成功率及检测效率。
Description
技术领域
本发明涉及机器人视觉引导检测技术领域,特别涉及一种基于视觉引导的铜片热阻率检测装置及其检测方法。
背景技术
在电子产品中往往都面临着运作时的散热问题,具相关研究表明,当电子元件的温度每升高2℃是,其可靠性会下降10%,如过工作温度达到50℃时,寿命也会减少到25℃的1/6左右,所以,如何提高电子产品的散热性能是目前极为重要的难题。
电子产品中通常装有形如铜片的散热模块来进行散热,通过铜片较好的导热率可以将由电子产品工作时产生的热量导出,使电子产品温度下降可连续正常工作,而在铜片生产或装配过程中对铜片的热阻率进行检测可以判断铜片是否满足散热性能指标要求。
在铜片的热阻率检测领域中,采用不同结构形式的热阻率检测装置来对铜片进行热阻率自动化检测是众所周知的。在研究和实现铜片热阻率自动化检测的过程中,发明人发现现有技术中的热阻率检测装置至少存在如下问题:由于现有的热阻率检测装置自动化程度低、定位精度差,导致最终低导致检测成功率低、检测效率低下。
有鉴于此,实有必要开发一种基于视觉引导的铜片热阻率检测装置及其贴附方法,用以解决上述问题。
发明内容
为了克服上述导热棉贴附装置所存在的问题,本发明所要解决的技术问题是提供一种能够提高检测成功率及检测效率的基于视觉引导的铜片热阻率检测装置。
就铜片热阻率检测装置而言,本发明为解决上述技术问题的基于视觉引导的铜片热阻率检测装置包括机架与控制器,所述机架上形成有备料工位与检测工位,所述备料工位与检测工位处分别装载有铜片料盒与热导率检测机构,所述机架上设有位于所述热导率检测机构旁侧的机械手,所述机架的上方设有两个分别与所述铜片料盒及热导率检测机构相对的面阵相机,所述机械手上设有LED矩阵及柔性海绵吸头,所述热导率检测机构、面阵相机及机械手均与所述控制器通讯连接。
与此相应,本发明另一个要解决的技术问题是提供一种能够提高检测成功率及检测效率的铜片热阻率检测方法。
就铜片热阻率检测方法而言,本发明为解决上述技术问题的基于视觉引导的铜片热阻率检测方法包括如下步骤:
步骤S1,与所述铜片料盒的面阵相机对铜片料盒装入的待测铜片在两个方向上进行拍照定位;
步骤S2,将步骤S1拍照获得的铜片照片进行去噪、腐蚀,以消除外部因素对铜片空间定位的影响;
步骤S3,对步骤S2中经去噪、腐蚀之后的铜片照片进行边缘提取和特征识别,并通过计算铜片照片像素点的坐标,确定铜片的中心定位坐标和铜片位姿,最终获得铜片的抓取坐标;
步骤S4,通过图像坐标系和世界坐标系的转换关系计算出铜片的空间吸取坐标;
步骤S5,标定面阵相机,获取其畸变参数和外参数,并建立图像坐标系和世界坐标系的转换矩阵;
步骤S6,对机械手进行手眼标定,面阵相机对机械手进行实时拍摄获取多幅机械手照片,对机械手照片进行图像处理以形成坐标文件并建立机械手坐标系相对于面阵相机的坐标转换矩阵,获得机械手实时像素坐标,以对机械手进行精准定位,经定位后的机械手运动到铜片的空间吸取坐标吸取该铜片并将该铜片转移到热导率检测机构中进行热导率检测;
步骤S7,热导率检测机构中的测温探针感应记录铜片的温度数据并将该温度数据回传给所述控制器与控制器中预存的标准测温曲线进行比对,以判断当前铜片的热阻率是否合格,若比对后判断为不合格,则机械手将该铜片放入NG物料盒,若比对后判断为合格,则机械手将该铜片放入已测样品物料盒。
可选的,步骤S2与S3之间还包括:
步骤S21,对步骤S2中经去噪、腐蚀之后的铜片照片通过线型滤波和灰度变换进行特征加强,为下一步边缘提取和特征识别降低误差。
可选的,步骤S4中计算铜片的空间吸取坐标的方法包括以下步骤:
步骤S41,通过计算第二相机的内外矩阵参数,得到相机坐标系与大地坐标系对相应关系为:
PI=CPg+T
其中,Pg是大地坐标系中的点,PI是图像坐标系中的点;
C是旋转矩阵,其表达式为:
a、b、c三个角度分别是绕相机坐标系X轴旋转角度a、绕Y轴旋转角度b、绕Z轴旋转角度c;
T=(tx,ty,tz)是一个平移向量,tx代表在X轴的平移距离,ty代表在Y轴的平移距离,tz代表在Z轴的平移距离;
从大地坐标系变换到相机坐标系属于刚体变换,只有平移和旋转,故P点从大地坐标系到相机坐标系转换关系如下:
其中,R是旋转矩阵,最后得到待测铜片的空间吸取坐标。
可选的,步骤S6中对机械手的手眼标定方法包括以下步骤:
步骤S61,将LED矩阵设置为3X3的红色LED矩阵,通过面阵相机对LED矩阵进行标定拍照,得到多组矩阵照片;
步骤S62,将得到的多组照片分别进行去除噪点、灰度变换和空间滤波实现图像增强,最终经边缘分割、blob分析后得到机械手实时像素坐标。
可选的,步骤S62之后还包括:
步骤S63,通过将机械手实时像素坐标和标定标准文件的比对,得到机械手实时像素坐标的世界坐标;
步骤S64,经过通用旋转变换矩阵和雅克比矩阵得到机械手在世界坐标系下的坐标,
步骤S65,不考虑切向畸变,利用张氏标定法对相机组进行标定,获取其的畸变参数和外参数,理想情况下图片的像素坐标为:(u,v),真实的像素坐标为:(u-,v-),则真实坐标与理想坐标的关系式:
x-=x+x[k1(x2+y2)+k2(x2+y2)2];
y-=y+y[k1(x2+y2)+k2(x2+y2)2];
其中,k1,k2是径向畸变系数;
像素坐标表达式为:
u-=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2];
v-=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2];
转化为矩阵表达式为:
从而解得k1,k2两个径向畸变系数,进而对相机图像进行处理。
可选的,步骤S65之后还包括:
步骤S66,通过SRT求解完成对机械手进行手眼标定,建立图像坐标系和世界坐标系的转换矩阵,为了寻找点集A与点集B之间的转换矩阵,进行如下建模:
B=R*A+t;
点集重新中心化得到下述表达式:
A′i={Pi A-μA};
B′i={Pi B-μB};
点集之间的协方差矩阵H为:
通过分解计算最佳旋转矩阵:
[U,S,V]=SRT(H);
R=VUT;
步骤S67,对图像坐标系与像素坐标系进行转换:
图像坐标系与像素坐标系虽然都是基于成像平面的,两个坐标系之间的差别在单位和原点所在处图像坐标系的原点是光电中心在成像平面上的点,图像坐标系的单位是mm,而像素坐标系的单位为像素点,故两者之间的转换关系为:
其中dx,dy代表每一行,每一列代表多少mm,即1pixel=1dx mm,
通过上述的集中坐标系之间的变换,得到大地坐标系到像素坐标系的变换关系:
通过上述图像坐标和世界坐标的转换关系计算铜片的空间吸取坐标。
上述技术方案中的一个技术方案具有如下优点或有益效果:由于设有面阵相机组,通过视觉检测系统可以精准定位铜片、机械手及指导机械手进行搬运动作,提高了检测成功率及检测效率;相比于传统的机械手标定系统,通过一次手眼标定,约束往后的所有机械手位姿控制,其机械手的精度完全依靠电机的回转精度,而本发明采用了相机实时调控引导的调节方式,实时对机械手空间坐标和位姿进行精准调整,同时物料的定位也用此相机实现,完成了一机多用,优化产品线的柔性化生产与检测,进一步提高了机械手系统的运行精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例的附图作简单介绍,显而易见地,下面描述中的附图仅仅涉及本发明的一些实施例,而非对本发明的限制,其中:
图1为根据本发明一个实施方式提出的基于视觉引导的铜片热阻率检测装置的立体图;
图2为根据本发明一个实施方式提出的基于视觉引导的铜片热阻率检测装置中铜片热阻率检测机构的结构示意图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在附图中,为清晰起见,可对形状和尺寸进行放大,并将在所有图中使用相同的附图标记来指示相同或相似的部件。
除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同,并不排除其他元件或者物件。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在下列描述中,诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词是相对于各附图中所示的构造进行定义的,特别地,“高度”相当于从顶部到底部的尺寸,“宽度”相当于从左边到右边的尺寸,“深度”相当于从前到后的尺寸,它们是相对的概念,因此有可能会根据其所处不同位置、不同使用状态而进行相应地变化,所以,也不应当将这些或者其他的方位用于解释为限制性用语。
涉及附接、联接等的术语(例如,“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系,除非以其他方式明确地说明。
参照图1,基于视觉引导的铜片热阻率检测装置
包括机架与控制器,其特征在于,所述机架上形成有备料工位与检测工位,所述备料工位与检测工位处分别装载有铜片料盒6与热导率检测机构1,所述机架上设有位于所述热导率检测机构1旁侧的机械手4,所述机架的上方设有两个分别与所述铜片料盒6及热导率检测机构1相对的面阵相机2,所述机械手5上设有LED矩阵3及柔性海绵吸头5,所述热导率检测机构1、面阵相机2及机械手4均与所述控制器通讯连接。
进一步地,本发明公开一种利用上述基于视觉引导的铜片热阻率检测装置进行热阻率检测的热阻率检测方法,包括以下步骤:
步骤S1,与所述铜片料盒6的面阵相机2对铜片料盒6装入的待测铜片在两个方向上进行拍照定位;
步骤S2,将步骤S1拍照获得的铜片照片进行去噪、腐蚀,以消除外部因素对铜片空间定位的影响;
步骤S3,对步骤S2中经去噪、腐蚀之后的铜片照片进行边缘提取和特征识别,并通过计算铜片照片像素点的坐标,确定铜片的中心定位坐标和铜片位姿,最终获得铜片的抓取坐标;
步骤S4,通过图像坐标系和世界坐标系的转换关系计算出铜片的空间吸取坐标;
步骤S5,标定面阵相机,获取其畸变参数和外参数,并建立图像坐标系和世界坐标系的转换矩阵;
步骤S6,对机械手进行手眼标定,面阵相机对机械手进行实时拍摄获取多幅机械手照片,对机械手照片进行图像处理以形成坐标文件并建立机械手坐标系相对于面阵相机的坐标转换矩阵,获得机械手实时像素坐标,以对机械手进行精准定位,经定位后的机械手运动到铜片的空间吸取坐标吸取该铜片并将该铜片转移到热导率检测机构1中进行热导率检测;
步骤S7,热导率检测机构1中的测温探针感应记录铜片的温度数据并将该温度数据回传给所述控制器与控制器中预存的标准测温曲线进行比对,以判断当前铜片的热阻率是否合格,若比对后判断为不合格,则机械手将该铜片放入NG物料盒,若比对后判断为合格,则机械手将该铜片放入已测样品物料盒。
进一步地,步骤S2与S3之间还包括:
步骤S21,对步骤S2中经去噪、腐蚀之后的铜片照片通过线型滤波和灰度变换进行特征加强,为下一步边缘提取和特征识别降低误差。
进一步地,步骤S4中计算铜片的空间吸取坐标的方法包括以下步骤:
步骤S41,通过计算第二相机的内外矩阵参数,得到相机坐标系与大地坐标系对相应关系为:
PI=CPg+T
其中,Pg是大地坐标系中的点,PI是图像坐标系中的点;
C是旋转矩阵,其表达式为:
a、b、c三个角度分别是绕相机坐标系X轴旋转角度a、绕Y轴旋转角度b、绕Z轴旋转角度c;
T=tx,ty,tz是一个平移向量,tx代表在X轴的平移距离,ty代表在Y轴的平移距离,tz代表在Z轴的平移距离;
从大地坐标系变换到相机坐标系属于刚体变换,只有平移和旋转,故P点从大地坐标系到相机坐标系转换关系如下:
其中,R是旋转矩阵,最后得到待测铜片的空间吸取坐标。
进一步地,步骤S6中对机械手的手眼标定方法包括以下步骤:
步骤S61,将LED矩阵3设置为3X3的红色LED矩阵,通过面阵相机2对LED矩阵进行标定拍照,得到多组矩阵照片;
步骤S62,将得到的多组照片分别进行去除噪点、灰度变换和空间滤波实现图像增强,最终经边缘分割、blob分析后得到机械手实时像素坐标。
进一步地,步骤S62之后还包括:
步骤S63,通过将机械手实时像素坐标和标定标准文件的比对,得到机械手实时像素坐标的世界坐标;
步骤S64,经过通用旋转变换矩阵和雅克比矩阵得到机械手在世界坐标系下的坐标,
步骤S65,不考虑切向畸变,利用张氏标定法对相机组进行标定,获取其的畸变参数和外参数,理想情况下图片的像素坐标为:(u,v),真实的像素坐标为:(u-,v-),则真实坐标与理想坐标的关系式泰勒展开:
x-=x+x[k1(x2+y2)+k2(x2+y2)2];
y-=y+y[k1(x2+y2)+k2(x2+y2)2];
其中,k1,k2是径向畸变系数;
像素坐标表达式为:
u-=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2];
v-=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2];
转化为矩阵表达式为:
从而解得k1,k2两个径向畸变系数,进而对相机图像进行处理。
进一步地,步骤S65之后还包括:
步骤S66,通过SRT求解完成对机械手进行手眼标定,建立图像坐标系和世界坐标系的转换矩阵,为了寻找点集A与点集B之间的转换矩阵,进行如下建模:
B=R*A+t;
点集重新中心化得到下述表达式:
A′i={Pi A-μA};
B′i={Pi B-μB};
点集之间的协方差矩阵H为:
通过分解计算最佳旋转矩阵:
[U,S,V]=SRT(H);
R=VUT;
步骤S67,对图像坐标系与像素坐标系进行转换:
图像坐标系与像素坐标系虽然都是基于成像平面的,两个坐标系之间的差别在单位和原点所在处图像坐标系的原点是光电中心在成像平面上的点,图像坐标系的单位是mm,而像素坐标系的单位为像素点,故两者之间的转换关系为:
其中dx,dy代表每一行,每一列代表多少mm,即1pixel=1dx mm,
通过上述的集中坐标系之间的变换,得到大地坐标系到像素坐标系的变换关系:
通过上述图像坐标和世界坐标的转换关系计算铜片的空间吸取坐标。
下面通过一实施例来对本发明进行进一步的解释说明。
实施例一
如图1~2,本发明提供了一种基于视觉引导的铜片热阻率检测方法,包括以下步骤:
步骤1:在机械手4末端设置3×3红色LED矩阵3,在检测工位设置两个相隔200mm,拍照角度呈10度的面阵相机组2,调节相机的位置和焦距使得相机焦距在合适的大小以获得需要获得空间定位物体清晰的照片。所述面阵相机组上的相机可以通过驱动机构实现转动,实现拍摄不同角度坐标以获取红色LED矩阵和物料盒6中待测铜片照片。
步骤2:机械手4上装有改良版的柔性海绵吸取吸头5,在机械手4运动之前,先通过相机2对待测铜片进行两个方向上拍照。进一步的对照片进行去噪,腐蚀,降低其他外部因素影响待测铜片的空间定位,接着通过线型滤波和灰度变换进行特征加强,为下一步边缘提取和特征识别降低误差,最后经过边缘提取和特征识别的待测铜片通过计算像素点的坐标,确信中心定位坐标和铜片位姿,设定抓取坐标。最后通过图像坐标和世界坐标的转换关系计算铜片的空间吸取坐标。
进一步地,通过计算第二相机的内外矩阵参数,可以确定相机坐标系与大地坐标系对相应关系为:
PI=CPg+T
其中Pg是大地坐标系中的点,PI是图像坐标系中的点,其中C是旋转矩阵,T是平移向量。
T=(tx,ty,tz)是一个平移向量,tx代表在X轴的平移距离,ty代表在Y轴的平移距离,tz代表在Z轴的平移距离。C代表旋转矩阵,a,b,c三个角度分别是绕相机坐标系X轴旋转角度a,绕Y轴旋转角度b,绕Z轴旋转角度c。R是旋转矩阵,T是平移向量。从大地坐标系变换到相机坐标系属于刚体变换,只有平移和旋转。故P点从大地坐标系到相机坐标系转换关系如下:
最后得到待测铜片的空间吸取坐标。
步骤3:标定面阵相机组2,获取其的畸变参数和外参数。建立图像坐标系和世界坐标系的转换矩阵。对机械手进行手眼标定,通过相机组1的多组照片,经过图像处理后形成坐标文件建立机械手坐标系相对于两面阵相机的坐标转换矩阵。实时的照相机摄像能够给机械手4实时的运行坐标,达到机械手的精准定位。最后由相机组定位机械臂来到铜片的空间吸取坐标点吸取铜片到检测工位。
通过检测工位设置两个相隔200mm,拍照角度呈10度的面阵相机组2对LED矩阵3进行标定拍照。获取实时的机械手定位坐标。得到多组矩阵照片。用得到的多组照片分别进行去除噪点,灰度变换和空间滤波实现图像增强,边缘分割、blob分析得到矩阵的像素坐标。
接着通过相机组将红色LED矩阵点的像素坐标系和红色标定标准文件的比对,得到红色矩阵的世界坐标,最后经过通用旋转变换矩阵和雅克比矩阵得到机械手4在世界坐标系下的坐标。接着对机械臂进行实时拍摄,指导机械臂运行到物料箱的上方,抓取散热铜片。
首先因为不考虑切向畸变,利用张氏标定法对相机组进行标定,获取其的畸变参数和外参数。
理想情况下(没有畸变)图片的像素坐标为:(u,v),真实的像素坐标为:(u-,v-)真实坐标与理想坐标的关系式(泰勒展开):
x-=x+x[k1(x2+y2)+k2(x2+y2)2]
y-=y+y[k1(x2+y2)+k2(x2+y2)2]
其中k1,k2是径向畸变系数(coefficients of the radial distortion)。像素坐标表示为:
u-=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2]
v-=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2]
即:
从而解得k1,k2两个径向畸变系数,进而对相机图像进行处理。
进一步地,进一步的通过SRT求解完成对机械手进行手眼标定,建立图像坐标系和世界坐标系的转换矩阵。
为了寻找这点集之间的转换矩阵,可以如下建模:
B=R*A+t
点集重新中心化
A′i={Pi A-μA}
B′i={Pi B-μB}
点集之间的协方差矩阵H
通过分解计算最佳旋转矩阵
[U,S,V]=SRT(H)
R=VUT
进一步的,图像坐标系与像素坐标系之间的转换:图像坐标系与像素坐标系虽然都是基于成像平面的,两个坐标系之间的差别在单位和原点所在处图像坐标系的原点是光电中心在成像平面上的点,图像坐标系的单位是mm,而像素坐标系的单位为像素点,故两者之间的转换关系为:其中dx,dy代表每一行,每一列代表多少mm,即1pixel=1dxmm,
通过上述的集中坐标系之间的变换,可以得出,大地坐标系到像素坐标系的变换关系:
通过上述图像坐标和世界坐标的转换关系计算铜片的空间吸取坐标,最后由相机组定位机械臂4来到铜片的空间吸取坐标点吸取铜片到检测工位1。柔性海绵吸头5采用普通聚乙烯醇和聚氨酯海绵,将其底部设计成贴合铜片形状,在海绵的侧面黏附上或涂敷上非透气类材质如聚乙烯膜,但不限于聚乙烯,阻挡非工作气体的进入,加强海绵吸头的外侧面的吸力。
步骤4:机械手吸取铜片后将其放入位于热导率检测装置前侧的载具1-1,因为热导率检测机构对散热铜片的位姿要求极高,这期间面阵相机组成的视觉引导系统实时对机械手的空间坐标进行调整,减少机械手的球度误差。热导率检测机构上的光电传感器检测到铜片后缩回机构1-4将铜片缩回机构内,下压机构1-3将铜片固定,保证两处的电极连接上铜片,保证检测的可靠性,进一步的,接着上针板1-2下压,上针板上固定有5个测温探针,测温探针实时监测记录不同位置的散热铜片温度,与标准散热铜片数据进行对比,检测合格则由机械手将散热铜片夹取到已测工件箱,检测不合格则由机械手将散热铜片夹取到废料箱等待重新加工。
本文中所描述的不同实施方案的零部件可经组合以形成上文未具体陈述的其它实施例。零部件可不考虑在本文中所描述的结构内而不会不利地影响其操作。此外,各种单独零部件可被组合成一或多个个别零部件以执行本文中所描述的功能。
此外,尽管本发明的实施方案已公开如上,但其并不仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (7)
1.一种基于视觉引导的铜片热阻率检测装置,包括机架与控制器,其特征在于,所述机架上形成有备料工位与检测工位,所述备料工位与检测工位处分别装载有铜片料盒(6)与热导率检测机构(1),所述机架上设有位于所述热导率检测机构(1)旁侧的机械手(4),所述机架的上方设有两个分别与所述铜片料盒(6)及热导率检测机构(1)相对的面阵相机(2),所述机械手(5)上设有LED矩阵(3)及柔性海绵吸头(5),所述热导率检测机构(1)、面阵相机(2)及机械手(4)均与所述控制器通讯连接。
2.一种利用权利要求1所述的基于视觉引导的铜片热阻率检测装置进行热阻率检测的热阻率检测方法,其特征在于,包括以下步骤:
步骤S1,与所述铜片料盒(6)的面阵相机(2)对铜片料盒(6)装入的待测铜片在两个方向上进行拍照定位;
步骤S2,将步骤S1拍照获得的铜片照片进行去噪、腐蚀,以消除外部因素对铜片空间定位的影响;
步骤S3,对步骤S2中经去噪、腐蚀之后的铜片照片进行边缘提取和特征识别,并通过计算铜片照片像素点的坐标,确定铜片的中心定位坐标和铜片位姿,最终获得铜片的抓取坐标;
步骤S4,通过图像坐标系和世界坐标系的转换关系计算出铜片的空间吸取坐标;
步骤S5,标定面阵相机,获取其畸变参数和外参数,并建立图像坐标系和世界坐标系的转换矩阵;
步骤S6,对机械手进行手眼标定,面阵相机对机械手进行实时拍摄获取多幅机械手照片,对机械手照片进行图像处理以形成坐标文件并建立机械手坐标系相对于面阵相机的坐标转换矩阵,获得机械手实时像素坐标,以对机械手进行精准定位,经定位后的机械手运动到铜片的空间吸取坐标吸取该铜片并将该铜片转移到热导率检测机构(1)中进行热导率检测;
步骤S7,热导率检测机构(1)中的测温探针感应记录铜片的温度数据并将该温度数据回传给所述控制器与控制器中预存的标准测温曲线进行比对,以判断当前铜片的热阻率是否合格,若比对后判断为不合格,则机械手将该铜片放入NG物料盒,若比对后判断为合格,则机械手将该铜片放入已测样品物料盒。
3.如权利要求2所述的基于视觉引导的铜片热阻率检测方法,其特征在于,步骤S2与S3之间还包括:
步骤S21,对步骤S2中经去噪、腐蚀之后的铜片照片通过线型滤波和灰度变换进行特征加强,为下一步边缘提取和特征识别降低误差。
4.如权利要求2或3所述的基于视觉引导的铜片热阻率检测方法,其特征在于,步骤S4中计算铜片的空间吸取坐标的方法包括以下步骤:
步骤S41,通过计算第二相机的内外矩阵参数,得到相机坐标系与大地坐标系对相应关系为:
PI=CPg+T
其中,Pg是大地坐标系中的点,PI是图像坐标系中的点;
C是旋转矩阵,其表达式为:
a、b、c三个角度分别是绕相机坐标系X轴旋转角度a、绕Y轴旋转角度b、绕Z轴旋转角度c;
T=(tx,ty,tz)是一个平移向量,tx代表在X轴的平移距离,ty代表在Y轴的平移距离,tz代表在Z轴的平移距离;
从大地坐标系变换到相机坐标系属于刚体变换,只有平移和旋转,故P点从大地坐标系到相机坐标系转换关系如下:
其中,R是旋转矩阵,最后得到待测铜片的空间吸取坐标。
5.如权利要求2或3所述的基于视觉引导的铜片热阻率检测方法,其特征在于,步骤S6中对机械手的手眼标定方法包括以下步骤:
步骤S61,将LED矩阵(3)设置为3X3的红色LED矩阵,通过面阵相机(2)对LED矩阵进行标定拍照,得到多组矩阵照片;
步骤S62,将得到的多组照片分别进行去除噪点、灰度变换和空间滤波实现图像增强,最终经边缘分割、blob分析后得到机械手实时像素坐标。
6.如权利要求5所述的基于视觉引导的铜片热阻率检测方法,其特征在于,步骤S62之后还包括:
步骤S63,通过将机械手实时像素坐标和标定标准文件的比对,得到机械手实时像素坐标的世界坐标;
步骤S64,经过通用旋转变换矩阵和雅克比矩阵得到机械手在世界坐标系下的坐标,
步骤S65,不考虑切向畸变,利用张氏标定法对相机组进行标定,获取其的畸变参数和外参数,理想情况下图片的像素坐标为:(u,v),真实的像素坐标为:(u-,v-),则真实坐标与理想坐标的关系式(泰勒展开):
x-=x+x[k1(x2+y2)+k2(x2+y2)2];
y-=y+y[k1(x2+y2)+k2(x2+y2)2];
其中,k1,k2是径向畸变系数;
像素坐标表达式为:
u-=u+(u-u0)[k1(x2+y2)+k2(x2+y2)2];
v-=v+(v-v0)[k1(x2+y2)+k2(x2+y2)2];
转化为矩阵表达式为:
从而解得k1,k2两个径向畸变系数,进而对相机图像进行处理。
7.如权利要求6所述的基于视觉引导的铜片热阻率检测方法,其特征在于,步骤S65之后还包括:
步骤S66,通过SRT求解完成对机械手进行手眼标定,建立图像坐标系和世界坐标系的转换矩阵,为了寻找点集A与点集B之间的转换矩阵,进行如下建模:
B=R*A+t;
点集重新中心化得到下述表达式:
A′i={Pi A-μA};
B′i={Pi B-μB};
点集之间的协方差矩阵H为:
通过分解计算最佳旋转矩阵:
[U,S,V]=SRT(H);
R=VUT;
步骤S67,对图像坐标系与像素坐标系进行转换:
图像坐标系与像素坐标系虽然都是基于成像平面的,两个坐标系之间的差别在单位和原点所在处图像坐标系的原点是光电中心在成像平面上的点,图像坐标系的单位是mm,而像素坐标系的单位为像素点,故两者之间的转换关系为:
其中dx,dy代表每一行,每一列代表多少mm,即1pixel=1dxmm,
通过上述的集中坐标系之间的变换,得到大地坐标系到像素坐标系的变换关系:
通过上述图像坐标和世界坐标的转换关系计算铜片的空间吸取坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010813605.8A CN112129809B (zh) | 2020-08-13 | 2020-08-13 | 一种基于视觉引导的铜片热阻率检测装置及其检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010813605.8A CN112129809B (zh) | 2020-08-13 | 2020-08-13 | 一种基于视觉引导的铜片热阻率检测装置及其检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112129809A true CN112129809A (zh) | 2020-12-25 |
CN112129809B CN112129809B (zh) | 2023-12-29 |
Family
ID=73851327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010813605.8A Active CN112129809B (zh) | 2020-08-13 | 2020-08-13 | 一种基于视觉引导的铜片热阻率检测装置及其检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112129809B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802122A (zh) * | 2021-01-21 | 2021-05-14 | 珠海市运泰利自动化设备有限公司 | 机器人视觉引导组装方法 |
CN114755262A (zh) * | 2022-06-15 | 2022-07-15 | 南京瑞为新材料科技有限公司 | 批量测试样件导热能力的测试系统及测试方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007218629A (ja) * | 2006-02-14 | 2007-08-30 | Sumitomo Chemical Co Ltd | 欠陥検査装置及び欠陥検査方法 |
CA2736734A1 (en) * | 2008-09-17 | 2010-03-25 | Nippon Steel Corporation | Method for detecting defect in material and system for the method |
CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
CN102809433A (zh) * | 2011-05-30 | 2012-12-05 | 喜利得股份公司 | 用于测量在目标物体处的散热的成像测量系统和测量方法 |
CN105067011A (zh) * | 2015-09-15 | 2015-11-18 | 沈阳飞机工业(集团)有限公司 | 一种基于视觉标定及坐标转换的测量系统整体校准方法 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
CN110634140A (zh) * | 2019-09-30 | 2019-12-31 | 南京工业大学 | 一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法 |
CN111112981A (zh) * | 2020-01-13 | 2020-05-08 | 苏州崮麓智能设备有限公司 | 一种机器人自动安装车牌设备及其方法 |
-
2020
- 2020-08-13 CN CN202010813605.8A patent/CN112129809B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007218629A (ja) * | 2006-02-14 | 2007-08-30 | Sumitomo Chemical Co Ltd | 欠陥検査装置及び欠陥検査方法 |
CA2736734A1 (en) * | 2008-09-17 | 2010-03-25 | Nippon Steel Corporation | Method for detecting defect in material and system for the method |
US20110249700A1 (en) * | 2008-09-17 | 2011-10-13 | Nippon Steel Corporation | Method for detecting defect in material and system for the method |
CN102809433A (zh) * | 2011-05-30 | 2012-12-05 | 喜利得股份公司 | 用于测量在目标物体处的散热的成像测量系统和测量方法 |
CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
CN105067011A (zh) * | 2015-09-15 | 2015-11-18 | 沈阳飞机工业(集团)有限公司 | 一种基于视觉标定及坐标转换的测量系统整体校准方法 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
CN110634140A (zh) * | 2019-09-30 | 2019-12-31 | 南京工业大学 | 一种基于机器视觉的大直径管状物定位及内壁缺陷检测方法 |
CN111112981A (zh) * | 2020-01-13 | 2020-05-08 | 苏州崮麓智能设备有限公司 | 一种机器人自动安装车牌设备及其方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802122A (zh) * | 2021-01-21 | 2021-05-14 | 珠海市运泰利自动化设备有限公司 | 机器人视觉引导组装方法 |
CN112802122B (zh) * | 2021-01-21 | 2023-08-29 | 珠海市运泰利自动化设备有限公司 | 机器人视觉引导组装方法 |
CN114755262A (zh) * | 2022-06-15 | 2022-07-15 | 南京瑞为新材料科技有限公司 | 批量测试样件导热能力的测试系统及测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112129809B (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111775154B (zh) | 一种机器人视觉系统 | |
CN110421562B (zh) | 基于四目立体视觉的机械臂标定系统和标定方法 | |
CN111127568B (zh) | 一种基于空间点位信息的相机位姿标定方法 | |
JP4021413B2 (ja) | 計測装置 | |
CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
CN112129809A (zh) | 一种基于视觉引导的铜片热阻率检测装置及其检测方法 | |
US20140009583A1 (en) | Three-dimensional measurement apparatus and robot system | |
CN105180905A (zh) | 一种双相机视觉定位系统及方法 | |
CN112365502B (zh) | 一种基于视觉图像缺陷检测的标对方法 | |
CN114248086B (zh) | 一种柔性化三维视觉引导的机器人对位系统及方法 | |
CN112247525A (zh) | 一种基于视觉定位智能组装系统 | |
CN112658643A (zh) | 接插件装配方法 | |
CN114260903A (zh) | 圆盘式多工位抓手的工业机器人3d视觉精密插装引导控制方法 | |
CN111986267A (zh) | 一种多相机视觉系统的坐标系统标定方法 | |
CN103707300A (zh) | 机械手装置 | |
CN110533727B (zh) | 一种基于单个工业相机的机器人自定位方法 | |
CN116749198A (zh) | 一种基于双目立体视觉引导机械臂抓取方法 | |
CN113500593B (zh) | 一种抓取轴类工件指定部位进行上料的方法 | |
JP5580553B2 (ja) | カメラ設置位置検出装置及び検出方法並びにカメラ設置位置検出用治具 | |
CN113240751B (zh) | 一种机器人末端相机的标定方法 | |
CN211699034U (zh) | 一种机械手与相机的手眼标定装置 | |
CN210968968U (zh) | 适用于汽车顶盖自动搬运过程的视觉引导上料系统 | |
CN113255662A (zh) | 一种基于视觉成像的定位矫正方法、系统、设备及存储介质 | |
CN115990889B (zh) | 一种基于多感受野的复合定位方法、装置及计算机系统 | |
CN114414477B (zh) | 用于机动车零部件的多角度检测装置及组装装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |