CN106622990A - 零件定位识别处理系统 - Google Patents

零件定位识别处理系统 Download PDF

Info

Publication number
CN106622990A
CN106622990A CN201611108331.2A CN201611108331A CN106622990A CN 106622990 A CN106622990 A CN 106622990A CN 201611108331 A CN201611108331 A CN 201611108331A CN 106622990 A CN106622990 A CN 106622990A
Authority
CN
China
Prior art keywords
mechanical arm
module
camera
mark points
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611108331.2A
Other languages
English (en)
Other versions
CN106622990B (zh
Inventor
王刚
李敏
葛树志
邱荷茜
刘小静
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201611108331.2A priority Critical patent/CN106622990B/zh
Publication of CN106622990A publication Critical patent/CN106622990A/zh
Application granted granted Critical
Publication of CN106622990B publication Critical patent/CN106622990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/04—Sorting according to size
    • B07C5/10—Sorting according to size measured by light-responsive means

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及图像处理领域，具体为零件定位识别处理系统，包括：图像采集模块，用于控制两台相机采集mark点区域图片，一台相机加一个环形光源采集零件图片；PCB板定位模块，用于识别图片中mark点确定PCB板位置；坐标定位模块，通过提取到图片中的mark点位置确定PCB板的位置，从而给出机械手臂的移动距离；机械手臂抓取模块，用于机械手抓取零件以及将零件插入到相应的端口；零件识别模块，用于将对应采集到的零件图片进行识别，判断是否为合格品，是否可以进入流水线作业。本发明的优点在于：满足工厂流水线时间要求，实现选取合格零件准确插入端口的操作。

Description

零件定位识别处理系统
技术领域
本发明涉及图像处理领域，特别是零件定位识别处理系统，主要应用于工厂流水线作业中零件的分类处理和零件抓取插入。
背景技术
随着计算机视觉技术和计算机图形学的发展及计算机性能的提高，使用机器人实现工厂流水线作业成为可能，利用计算机视觉和计算机图形结合，解决零件的识别分类，将不合格品剔除选择合格品进入流水线，定位PCB板位置，将机器手臂抓取的零件插入相应端口。
在现在工厂作业中，机器人已经在很多领域代替人工操作，既节省了成本又可实现不间断作业，提高生产效率。那么正确率和操作速度则是两个重要的评价标准。一方面工厂流水线将操作分解为多个可并行处理的操作，每个简单操作都有其限定的最晚完成时间，不能因为其中的某些操作影响整体的速度，生产效率下降则会大大影响利润。另一方面用机器人代替人工操作，需要在保证产品的正确率，否则使用机器人实现流水化作业，则显得毫无意义。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种零件定位识别处理系统，满足工厂流水线时间要求，实现选取合格零件准确插入端口的操作。
本发明的目的通过以下技术方案来实现：零件定位识别处理系统，包括：
图像采集模块，用于控制两台相机采集mark点区域图片，一台相机加一个环形光源采集零件图片；
PCB板定位模块，用于识别图片中mark点确定PCB板位置；
坐标定位模块，通过提取到图片中的mark点位置确定PCB板的位置，从而给出机械手臂的移动距离；
机械手臂抓取模块，用于机械手抓取零件以及将零件插入到相应的端口；
零件识别模块，用于将对应采集到的零件图片进行识别，判断是否为合格品，是否可以进入流水线作业。
所述的图像采集模块中，一台相机固定在流水线上，另一台安装在机械手臂上，安装在机械手臂上的相机随着机械手臂的运动而运动，两台相机分别采集两个mark点的图片。
所述的PCB板定位模块中，采集到的mark点的图片，根据mark点的形状来识别mark点，用mark点的中心图像坐标作为mark点的图像坐标。
所述的坐标定位模块，在生产线中，先测量得到固定的照像机的世界坐标和摄像机坐标；得到其中一个mark点世界坐标和摄像机坐标。
所述的安装在机械手臂上的相机，机械手臂移动到固定的地方拍照，测量出该时刻的世界坐标和摄像机坐标，确定另一个mark点世界坐标和摄像机坐标。
通过mark点坐标确定PCB板坐标，结合当前机械手臂的坐标确定机械手臂的移动距离。
所述的机械手臂抓取模块，利用机械手臂从物料盒中抓取零件，保持引脚朝下，移动到PCB板上方，按压进入相应端口。
所述的零件识别模块，识别图片中零件引脚，通过面积大小和引脚成像距离以及引脚之间的距离判断零件是否为合格品，即能否流入流水线。
本发明具有以下优点：
1、本发明通过两台相机分别采集mark点区域图片，识别后通过PCB板定位模块确定PCB板位置，通过坐标定位模块确定机械手臂的移动距离，在通过机械手臂抓取模块将零件快速抓取并插入到相应端口，并对零件进行识别，实现快速、准确地对零件定位识别抓取插入等操作，满足工厂流水线时间要求，实现选取合格零件插入端口的操作。
附图说明
图1为本发明的结构示意图；
图2为图1的左视结构示意图；
具体实施方式
下面结合附图对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。
如图1和图2所示，
零件定位识别处理系统，包括：
图像采集模块，用于控制两台相机采集mark点区域图片，一台相机加一个环形光源采集零件图片；
PCB板定位模块，用于识别图片中mark点确定PCB板位置；
坐标定位模块，通过提取到图片中的mark点位置确定PCB板的位置，从而给出机械手臂的移动距离；
机械手臂抓取模块，用于机械手抓取零件以及将零件插入到相应的端口；
零件识别模块，用于将对应采集到的零件图片进行识别，判断是否为合格品，是否可以进入流水线作业。
所述的图像采集模块中，一台相机固定在流水线上，另一台安装在机械手臂上，安装在机械手臂上的相机随着机械手臂的运动而运动，两台相机分别采集两个mark点的图片。
所述的PCB板定位模块中，采集到的mark点的图片，根据mark点的形状来识别mark点，用mark点的中心图像坐标作为mark点的图像坐标。
所述的坐标定位模块，在生产线中，先测量得到固定的照像机的世界坐标和摄像机坐标；得到其中一个mark点世界坐标和摄像机坐标。
所述的安装在机械手臂上的相机，机械手臂移动到固定的地方拍照，测量出该时刻的世界坐标和摄像机坐标，确定另一个mark点世界坐标和摄像机坐标。
通过mark点坐标确定PCB板坐标，结合当前机械手臂的坐标确定机械手臂的移动距离。
所述的机械手臂抓取模块，利用机械手臂从物料盒中抓取零件，保持引脚朝下，移动到PCB板上方，按压进入相应端口。
所述的零件识别模块，识别图片中零件引脚，通过面积大小和引脚成像距离以及引脚之间的距离判断零件是否为合格品，即能否流入流水线。
本发明的工作原理是：
一、首先对于硬件设备，选定空间某一点建立世界坐标系，以该点为原点，确定其他位置的坐标。对于固定于流水线中的照相机，测量得到世界坐标，对于移动的照相机，得到拍照时的世界坐标。
二、两台相机对PCB板的两个mark点位置拍照，这样一次即可得PCB板的位置，很短的时间内再次同时拍照，又一次得到PCB板的位置，取两次的平均值。采用两次定位可以提高定位的准确性。
三、对于PCB板照片处理：1)将图片尺寸统一，方便后续设置相应的参数。2)在图片中寻找mark点，有圆形和方形，由于PCB板中有多个圆形和方形，我们只需要其中的两个即可。在不同的PCB板中，我们根据PCB板的位置选择其中的两个来给PCB板定位。使用cvSmooth()函数和cvHoughCircles()函数来找到圆形mark点，其中cvHoughCircles()函数中设定圆的半径大小来找到最小的中心圆，从而得到圆心坐标。对于方形mark点，采用两个向量之间的夹角余弦接近0判断两个向量之间的夹角为90°，取cosθ≤a(a＝0.05)，即认为夹角为直角。然后设定正方形的边长得到正方形mark点。如果相片识别效果不理想，可以先将图片二值化，即可将图片二值化，或者用cvCanny()将图片边缘化处理，得到简单图形，这样可提高识别速度和效率。
四、PCB板定位：
像素坐标(u,v)，成像坐标中心坐标(uo,vo)，图像坐标(x,y)，摄像机坐标系(xc,yc,zc)，世界坐标系(xw,yw,zw)。
根据两个mark点中心坐标确定PCB板位置，确定相关关系为dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。
图像坐标与摄像机坐标关系
摄像机坐标与世界坐标关系
其中R是3×3正交单位矩阵，t是3维平移向量，0＝(0,0,0)T，M1是两个坐标系之间的联系矩阵。
图像坐标与世界坐标关系
其中s'表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子(skewfactor)。
五、零件识别模块：
1、首先已知合格品的成像，如合格零件引脚的成像面积大小和引脚成像长度以及相邻引脚之间的距离等参数；
2、由于零件引脚较小，需要精度高的相机，用环形光源打光，这样得到的图片中引脚的金属部分会相对于周围的部分更亮，在图片中识别零件引脚，与PCB板的mark点识别类似，但是要调节参数，识别的区域比零件引脚成像的区域稍大；
3、计算零件成像面积和引脚成像距离以及引脚之间距离；
4、判断零件引脚成像部分的面积大小以及同一零件引脚之间的距离与合格品的差值，如果相差一定值则判定为不合格品。

Claims (8)

1.零件定位识别处理系统，其特征在于：包括：
图像采集模块，用于控制两台相机采集mark点区域图片，一台相机加一个环形光源采集零件图片；
PCB板定位模块，用于识别图片中mark点确定PCB板位置；
坐标定位模块，通过提取到图片中的mark点位置确定PCB板的位置，从而给出机械手臂的移动距离；
机械手臂抓取模块，用于机械手抓取零件以及将零件插入到相应的端口；
零件识别模块，用于将对应采集到的零件图片进行识别，判断是否为合格品，是否可以进入流水线作业。
2.根据权利要求1所述的零件定位识别处理系统，其特征在于：所述的图像采集模块中，一台相机固定在流水线上，另一台安装在机械手臂上，安装在机械手臂上的相机随着机械手臂的运动而运动，两台相机分别采集两个mark点的图片。
3.根据权利要求1所述的零件定位识别处理系统，其特征在于：所述的PCB板定位模块中，采集到的mark点的图片，根据mark点的形状来识别mark点，用mark点的中心图像坐标作为mark点的图像坐标。
4.根据权利要求1所述的零件定位识别处理系统，其特征在于：所述的坐标定位模块，在生产线中，先测量得到固定的照像机的世界坐标和摄像机坐标；得到其中一个mark点世界坐标和摄像机坐标。
5.根据权利要求2所述的零件定位识别处理系统，其特征在于：所述的安装在机械手臂上的相机，机械手臂移动到固定的地方拍照，测量出该时刻的世界坐标和摄像机坐标，确定另一个mark点世界坐标和摄像机坐标。
6.根据权利要求5所述的零件定位识别处理系统，其特征在于：通过mark点坐标确定PCB板坐标，结合当前机械手臂的坐标确定机械手臂的移动距离。
7.根据权利要求1所述的零件定位识别处理系统，其特征在于：所述的机械手臂抓取模块，利用机械手臂从物料盒中抓取零件，保持引脚朝下，移动到PCB板上方，按压进入相应端口。
8.根据权利要求1所述的零件定位识别处理系统，其特征在于：所述的零件识别模块，识别图片中零件引脚，通过面积大小和引脚成像距离以及引脚之间的距离判断零件是否为合格品，即能否流入流水线。
CN201611108331.2A 2016-12-06 2016-12-06 零件定位识别处理系统 Active CN106622990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611108331.2A CN106622990B (zh) 2016-12-06 2016-12-06 零件定位识别处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611108331.2A CN106622990B (zh) 2016-12-06 2016-12-06 零件定位识别处理系统

Publications (2)

Publication Number Publication Date
CN106622990A true CN106622990A (zh) 2017-05-10
CN106622990B CN106622990B (zh) 2019-05-21

Family

ID=58818885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611108331.2A Active CN106622990B (zh) 2016-12-06 2016-12-06 零件定位识别处理系统

Country Status (1)

Country Link
CN (1) CN106622990B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843601A (zh) * 2017-10-18 2018-03-27 上海斐讯数据通信技术有限公司 一种基于图像处理的pcb板定位识别系统及方法
CN108772824A (zh) * 2018-06-06 2018-11-09 深圳市恒晨电器有限公司 一种螺丝机械手示教对位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102085611A (zh) * 2010-11-11 2011-06-08 宁波工程学院 应变片自动装配方法及装配系统
CN102686041A (zh) * 2012-05-23 2012-09-19 李正标 一种基于机器视觉的异型电子元器件的贴片方法
CN104093298A (zh) * 2014-07-16 2014-10-08 苏州迪纳精密设备有限公司 一种异型连接件自动插件机
CN205726880U (zh) * 2016-03-17 2016-11-23 深圳市堃琦鑫华股份有限公司 一种自动化插件机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102085611A (zh) * 2010-11-11 2011-06-08 宁波工程学院 应变片自动装配方法及装配系统
CN102686041A (zh) * 2012-05-23 2012-09-19 李正标 一种基于机器视觉的异型电子元器件的贴片方法
CN104093298A (zh) * 2014-07-16 2014-10-08 苏州迪纳精密设备有限公司 一种异型连接件自动插件机
CN205726880U (zh) * 2016-03-17 2016-11-23 深圳市堃琦鑫华股份有限公司 一种自动化插件机

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107843601A (zh) * 2017-10-18 2018-03-27 上海斐讯数据通信技术有限公司 一种基于图像处理的pcb板定位识别系统及方法
CN107843601B (zh) * 2017-10-18 2020-10-23 江西鸿宇电路科技有限公司 一种基于图像处理的pcb板定位识别系统及方法
CN108772824A (zh) * 2018-06-06 2018-11-09 深圳市恒晨电器有限公司 一种螺丝机械手示教对位方法

Also Published As

Publication number Publication date
CN106622990B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
Choi et al. Voting-based pose estimation for robotic assembly using a 3D sensor
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
JP5282717B2 (ja) ロボットシステム
CN113524194A (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN101033958A (zh) 一种机器视觉定位方法
CN105800464B (zh) 一种基于自动吊钩系统的定位方法
CN113196337B (zh) 图像处理装置、作业机器人、基板检查装置及检体检查装置
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
US20130058526A1 (en) Device for automated detection of feature for calibration and method thereof
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN105547153A (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN108748149A (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
Loing et al. Virtual training for a real application: Accurate object-robot relative localization without calibration
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN106622990B (zh) 零件定位识别处理系统
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN113822946A (zh) 一种基于计算机视觉的机械臂抓取方法
Guo et al. The introduction of AOI in PCB defect detection based on linear array camera
CN107229941B (zh) 示教数据的生成方法
Patil et al. Sift based approach: Object recognition and localization for pick-and-place system
CN111462171A (zh) 一种标记点检测跟踪方法
Lin et al. Occluded object grasping based on robot stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant