CN112258576A - 一种基于图像处理的重叠细导线抓取系统及方法 - Google Patents
一种基于图像处理的重叠细导线抓取系统及方法 Download PDFInfo
- Publication number
- CN112258576A CN112258576A CN202011106220.4A CN202011106220A CN112258576A CN 112258576 A CN112258576 A CN 112258576A CN 202011106220 A CN202011106220 A CN 202011106220A CN 112258576 A CN112258576 A CN 112258576A
- Authority
- CN
- China
- Prior art keywords
- axis motor
- image
- unit
- axis
- thin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003708 edge detection Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 239000004020 conductor Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本发明提出了一种基于图像处理的重叠细导线抓取系统，包括：图像采集系统、图像处理系统和运动控制系统；图像采集系统包括工业相机，工业相机采集重叠细导线及周围区域的图像信息，并传输给图像处理系统；图像处理系统对对细导线进行特征提取，并将提取的特征传输给运动控制系统；运动控制系统包括PLC和电机，PLC接收图像处理系统的特征后，控制电机对细导线进行抓取。本发明还提出了一种基于上述系统的抓取方法。本发明利用工业相机采集细导线的原始图像，通过二值化、图像滤波和边缘检测进行图像预处理；采用轮廓面积检测和中心定位算法，提取细导线的中心坐标；中心坐标变换得到世界坐标，并传给PLC控制电机抓取细导线，准确性高。
Description
技术领域
本发明涉及导线抓取技术领域，特别涉及一种基于图像处理的重叠细导线抓取系统，还涉及一种基于图像处理的重叠细导线抓取方法。
背景技术
在电子设备的生产过程中，PCB板与其他器件连接需用到不同规格的导线来进行连接，如话题的引线、耳机的引线、鼠标键盘引线、仪表盘引线等。这些引线细且轻，且引线的焊接工作量大、繁琐。目前为止，绝大多数的工业机械臂，都是按照事先规定好的轨迹进行工作，要实现机械臂的智能抓取，机器人首先要知目标物体的位置，目前国内外的研究情况基本是单个物体的识别或多个较大物体的识别。对于细导线及多重细导线的问题研究较少。经调研发现存在两个重要的问题制约着生产效率：(1)存在2根及2根以上导线的叠加情况，机械臂无法正确获取置最先被抓取的导线，则需要手动分离后抓取，导致生产效率下降；(2)如果导线弯曲机械臂获取其中心位置的准确率将会下降。
细导线在抓取过程中需要满足三点要求：(1)要按照从上到下的顺序进行抓取，(2)抓取位置为细导线的中心位置，(3)每次只抓取一根细导线。并且在抓取过程中会遇到细导线相交和不相交两种情况，若细导线不相交，对于抓取并没有先后顺序；若细导线相交，抓取时需要按照从上到下的顺序依次抓取。如果不按照顺序抓取会因上面存在的细导线进而影响抓取的准确性，就不能保证抓取的位置是细导线的中心位置。
发明内容
本发明提出一种基于图像处理的重叠细导线抓取系统及方法，解决了现有技术中细导线抓取准确率低的问题。
本发明的技术方案是这样实现的：
一种基于图像处理的重叠细导线抓取系统，包括：
图像采集系统、图像处理系统和运动控制系统；
图像采集系统包括工业相机，所述工业相机采集重叠细导线及周围区域的图像信息，并将采集的图像信息传输给图像处理系统；
图像处理系统对所述图像信息进行分析处理，对细导线进行特征提取，并将提取的特征传输给运动控制系统；
运动控制系统包括PLC和电机，PLC接收图像处理系统的特征后，控制电机对细导线进行抓取。
可选地，所述图像采集系统还包括光源。
可选地，所述图像处理系统包括图像预处理模块和特征提取模块，所述图像预处理模块包括灰度处理单元、图像滤波单元和细导线边缘检测单元，灰度处理单元将获取的图像信息采用最大值法和平均值法结果作对比，获取灰度图；图像滤波单元对所述灰度图进行降噪；细导线边缘检测单元对细导线边缘进行检测来识别细导线的位置，得到边缘轮廓；所述特征提取模块包括轮廓提取单元和几何特征提取单元，所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的的轮廓图像；所述几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
可选地，所述电机为步进电机，包括由运动控制模块控制的X轴电机、Y轴电机和Z轴电机。
可选地，所述PLC包括XYZ轴初始化单元、XYZ轴定位原点单元、XYZ轴实时数据更新单元、手动程序单元、循环中断单元和抓取细导线单元，其中，XYZ轴初始化单元对X轴电机、Y轴电机、Z轴电机进行初始化；XYZ轴定位原点单元将X轴电机、Y轴电机、Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元实现对X轴电机、Y轴电机、Z轴电机调至期望位置和点动控制；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元控制电机抓取细导线。
可选地，所述抓取系统还包括监控系统，所述监控系统包括起始画面模块、自动画面模块和手动画面模块，所述起始画面模块、自动画面模块和手动画面模块显示X轴电机、Y轴电机和Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机和Z轴电机的动作指示灯观察电机动作情况，所述自动画面模块和手动画面模块用于不同画面的切换，所述手动画面模块对电机在运动过程中进行校准。
本发明还提供了一种基于图像处理的重叠细导线抓取方法，基于上述抓取系统，包括如下步骤：
工业相机采集重叠细导线及周围区域的图像信息；
图像处理系统对采集到的图像信息进行预处理后，对细导线进行特征提取，确定抓取位置的世界坐标；
PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取。
可选地，所述图像处理系统对采集到的图像信息进行预处理，包括以下步骤：
(1)灰度处理
首先灰度处理单元在0-255的像素内选取一个阈值作为设定阈值，再将采集到的图像上每一个点的灰度与设定阈值比较，若该点的灰度比阈值大则赋予255，如果该点的灰度比阈值小则赋予0，得到灰度图；
(2)图像滤波
图像滤波单元采用滤波算法，对所述灰度图进行二值化降噪；
(3)细导线边缘检测
细导线边缘检测单元采用高斯滤波与Canny边缘检测模块结合的边缘检测方式，经过高斯滤波、获取梯度数据、梯度非极大抑制、双阈值精度定位后，得到边缘轮廓。
可选地，所述对细导线进行特征提取，包括以下步骤：
(1)细导线轮廓提取
所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的轮廓图像；
(2)几何特征提取
几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
可选地，所述PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取，包括如下步骤：
(1)流程设置
X轴电机、Y轴电机和Z轴电机运动到期望位置，抓取细导线后运动到指定位置放置细导线；
(2)向导配置
运动控制系统选用并导出运动控制模块AXIS_LDPOS、AXIS_GOTO和AXIS_MAN；
(3)程序设计
XYZ轴初始化单元对X轴电机、Y轴电机、Z轴电机进行初始化；XYZ轴定位原点单元利用限位开关将X轴电机、Y轴电机、Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元利用运动控制模块AXIS_MAN实现对X轴电机、Y轴电机、Z轴电机调至期望位置，运用运动控制模块AXIS_MAN实现点动控制，X轴电机、Y轴电机、Z轴电机分别运用并分别用两个地址实现正反转；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元在控制步进电机抓取细导线时采用顺序功能图控制步进电机，在每一步之间采用定时器的方法进行控制。
(4)系统监控
起始画面模块、自动画面单元自动画面模块、手动画面模块实时显示X轴电机、Y轴电机、Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机、Z轴电机的动作指示灯观察电机动作情况。
本发明的有益效果是：
本发明利用工业相机采集细导线的原始图像，通过二值化、图像滤波和边缘检测的算法进行图像预处理；采用轮廓面积检测和中心定位算法，提取细导线的中心坐标像素值；图像处理的像素坐标经坐标变换得到世界坐标，并传给PLC进行运动控制，控制步进电机和吸盘抓取细导线。经图像分析细导线抓取可以达到比较高的准确性，在细导线相交时，获取置最先被抓取的导线的准切率也提高了。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于图像处理的重叠细导线抓取系统的结构框图；
图2为本发明基于图像处理的重叠细导线抓取系统的图像处理工艺流程图；
图3为本发明基于图像处理的重叠细导线抓取系统的细导线灰度图；
图4为本发明特征提取的方案框图。
图5为本发明基于图像处理的重叠细导线抓取系统的细导线边缘轮廓图；
图6为本发明经图像特征算法处理后的细导线几何特征图；
图7为本发明细导线抓取系统工艺流程图；
图8为本发明细导线抓取系统的顺序功能图。
具体实施方式
以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一种基于图像处理的重叠细导线抓取系统的一个实施例，包括：
图像采集系统、图像处理系统和运动控制系统；
图像采集系统包括工业相机，所述工业相机采集重叠细导线及周围区域的图像信息，并将采集的图像信息传输给图像处理系统；
图像处理系统对所述图像信息进行分析处理，对细导线进行特征提取，并将提取的特征传输给运动控制系统；
运动控制系统包括PLC和电机，PLC接收图像处理系统的特征后，控制电机对细导线进行抓取。
可选地，所述图像采集系统还包括光源。
可选地，所述图像处理系统包括图像预处理模块和特征提取模块，所述图像预处理模块包括灰度处理单元、图像滤波单元和细导线边缘检测单元，灰度处理单元将获取的图像信息采用最大值法和平均值法结果作对比，获取灰度图；图像滤波单元对所述灰度图进行降噪；细导线边缘检测单元对细导线边缘进行检测来识别细导线的位置，得到边缘轮廓；所述特征提取模块包括轮廓提取单元和几何特征提取单元，所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的轮廓图像；所述几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
可选地，所述电机为步进电机，包括由运动控制模块控制的X轴电机、Y轴电机和Z轴电机。
可选地，所述PLC包括XYZ轴初始化单元、XYZ轴定位原点单元、XYZ轴实时数据更新单元、手动程序单元、循环中断单元和抓取细导线单元，其中，XYZ轴初始化单元对X轴电机、Y轴电机、Z轴电机进行初始化；XYZ轴定位原点单元将X轴电机、Y轴电机和Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元实现对X轴电机、Y轴电机和Z轴电机调至期望位置和点动控制；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元控制电机抓取细导线。
可选地，所述抓取系统还包括监控系统，所述监控系统包括起始画面模块、自动画面模块和手动画面模块，所述起始画面模块、自动画面模块和手动画面模块显示X轴电机、Y轴电机和Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机和Z轴电机的动作指示灯观察电机动作情况，所述自动画面模块和手动画面模块用于不同画面的切换，所述手动画面模块对电机在运动过程中进行校准。
本发明还提供了一种基于图像处理的重叠细导线抓取方法，基于上述抓取系统，包括如下步骤：
工业相机采集重叠细导线及周围区域的图像信息；
图像处理系统对采集到的图像信息进行预处理后，对细导线进行特征提取，确定抓取位置的世界坐标；
PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取。
图2示出了本发明细导线中心位置检测及抓取控制系统的流程，具体操作步骤如下：
(1)将步进电机在世界坐标中位置标定；
(2)通过工业相机采集细导线的条数和位置；
(3)将采集的图像进行图像处理，并获取细导线的中心坐标；
(4)将细导线中心坐标通过坐标转换为世界坐标，并传给PLC；
(5)利用PLC程序控制步进电机进行抓取，并通过触摸屏实时观察；
(6)重复上述(2)～(5)操作，直到所有导线均被抓取。
可选地，所述图像处理系统对采集到的图像信息进行预处理，包括以下步骤：
(1)灰度处理
首先灰度处理单元在0-255的像素内选取一个阈值作为设定阈值，再将采集到的图像上每一个点的灰度与设定阈值比较，若该点的灰度比阈值大则赋予255，如果该点的灰度比阈值小则赋予0，得到灰度图，如图3所示，在该实施例中，二值化的阈值选取80；
(2)图像滤波
图像滤波单元采用滤波算法，对所述灰度图进行二值化降噪；
在细导线图像中，图像传输和处理的过程中经常会受到噪声的污染，这些噪声会以独立的像素点的形式影响图像的视觉效果，这种问题不仅会影响细导线的分离和读取，更会对细导线特征值的准确性。
中值滤波是一种非线性的滤波，它在去除周围噪声的基础上可以很好的保护边缘图像。中值滤波选取一定的区域，对选取滤波图像区域中的像素进行排序，并选中值赋予新的像素值。如果选区的区域为奇数，那么中值为中间像素的灰度值。如果选取区域为偶数，那么中值就为中间两个像素的平均值。
(3)细导线边缘检测
细导线边缘检测单元采用高斯滤波与Canny边缘检测模块结合的边缘检测方式，经过高斯滤波、获取梯度数据、梯度非极大抑制、双阈值精度定位后，得到边缘轮廓。
图4示出了本发明对细导线进行特征提取的方案的一个实施例，特征提取是为了获得最上层导线的图像及中心位置，在本实施例中，采用的是轮廓提取、几何特征提取、面积特征提取的方法
可选地，所述对细导线进行特征提取，包括以下步骤：
(1)细导线轮廓提取
所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的轮廓图像；
在机器视觉中，轮廓提取的目的是为了获得目标区域的外部轮廓特征，为了之后更好的分析细导线的特征信息，二值化的图像轮廓提取非常简单，就是在边缘检测的基础上目标图像为白色，背景为黑色。如果该像素为黑色，并且周围邻域点的像素也均为黑色则判断为内部点，否则为边缘点将判断出的内部像素置为背景色。对所有内部点像素进行该操作就可以完成轮廓提取操作。
在该实施例中，通过Canny算法边缘检测后的图像，对细导线提取轮廓得如图5所示。两根相交的细导线因重叠相交被分成了三部分，通过轮廓提取可以清楚的得到每一段导线的轮廓图像。
(2)几何特征提取
几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
在该实施例中，经图像特征算法处理后的图像如图6所示。细导线图像通过输出的数据可得三个轮廓的大小分别为4440.0、8194.5和3485，并得到最大面积为8194.5和最大面积对应的轮廓和像素中心坐标，中心坐标为(354，180)。
可选地，所述PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取，包括如下步骤：
(1)流程设置
X轴电机、Y轴电机和Z轴电机运动到期望位置，抓取细导线后运动到指定位置放置细导线；
图7示出了抓取细导线的工艺流程的一个实施例。在抓取细导线的程序中，采用每个电机单独工作的原则，按照运动到期望位置抓取后运动到指定位置放置的动作。首先运动到期望位置X轴电机沿正向先运动到期望位置，Y轴电机沿正向运动到期望位置；其次抓取细导线Z轴电机沿正向运动到期望位置，Z轴电机沿负向返回原点；然后运动到指定位置Y轴电机沿负向返回原点，X轴电机沿负向返回原点；最后是放置细导线Z轴电机沿正向运动到期望位置，Z轴电机沿负向返回原点。
(2)向导配置
运动控制系统中的运动控制向导可依据组态和曲线数据生成相应的运动指令，根据该向导，运动控制系统选用西门子STEP 7-MicroWIN SMART的运动控制向导并导出运动控制模块AXIS_LDPOS、AXIS_GOTO和AXIS_MAN。在该实施例中，具体的向导配置步骤为：首先选择轴数为3，对应三个步进电机，并分别重命名为X轴电机、Y轴电机和Z轴电机；再选用测量系统为工程单位并调节电机一次旋转对应的脉冲数为3200和测量基本单位选择毫米(mm)，电机一次旋转对应产生的运动为38mm；在配置电机的点动时所用的默认速度，设置为20mm/s，其他均按照默认配置完成。
(3)程序设计
图8示出了本发明抓取细导线的顺序流程的一个实施例。
在该实施例中，XYZ轴初始化单元对X轴电机、Y轴电机和Z轴电机进行初始化；XYZ轴定位原点单元利用限位开关将X轴电机、Y轴电机和Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元利用运动控制模块AXIS_MAN实现对X轴电机、Y轴电机和Z轴电机调至期望位置，运用运动控制模块AXIS_MAN实现点动控制，X轴电机、Y轴电机和Z轴电机轴分别运用并分别用两个地址实现正反转；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元在控制步进电机抓取细导线时采用顺序功能图控制步进电机，在每一步之间采用定时器的方法进行控制。
(4)系统监控
起始画面模块、自动画面模块、手动画面模块实时显示X轴电机、Y轴电机和Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机和Z轴电机的动作指示灯观察电机动作情况。
在本实施例中，细导线抓取控制系统中利用WINCC软件创建组态画面，实现手动和自动控制、并实行位置的监控显示和可视化操作。自动画面模块、手动画面模块分别用于画面切换功能连接，可以随时进行不同画面的切换操作。手动画面模块实现电机在运动过程中校准的功能。通过组态画面进行可视化操作，点击X轴电机正转按钮，X轴步进电机会发生正转，点击反转按钮电机会发生反转。并通过坐标轴中的正反转指示灯进行指示。Y、Z与X轴原理相同。通过手动操作最终实现校准功能。操作界面主要是对系统的运行情况进行实时监控。画面实时显示X轴电机、Y轴电机和Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机和Z轴电机的动作指示灯观察电机动作情况。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像处理的重叠细导线抓取系统，其特征在于，包括：
图像采集系统、图像处理系统和运动控制系统；
图像采集系统包括工业相机，所述工业相机采集重叠细导线及周围区域的图像信息，并将采集的图像信息传输给图像处理系统；
图像处理系统对所述图像信息进行分析处理，对细导线进行特征提取，并将提取的特征传输给运动控制系统；
运动控制系统包括PLC和电机，PLC接收图像处理系统的特征后，控制电机对细导线进行抓取。
2.如权利要求1所述的一种基于图像处理的重叠细导线抓取系统，其特征在于，
所述图像采集系统还包括光源。
3.如权利要求1所述的一种基于图像处理的重叠细导线抓取系统，其特征在于，
所述图像处理系统包括图像预处理模块和特征提取模块，所述图像预处理模块包括灰度处理单元、图像滤波单元和细导线边缘检测单元，灰度处理单元将获取的图像信息采用最大值法和平均值法结果作对比，获取灰度图；图像滤波单元对所述灰度图进行降噪；细导线边缘检测单元对细导线边缘进行检测来识别细导线的位置，得到边缘轮廓；所述特征提取模块包括轮廓提取单元和几何特征提取单元，所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的的轮廓图像；所述几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
4.如权利要求1所述的一种基于图像处理的重叠细导线抓取系统，其特征在于，
所述电机为步进电机，包括由运动控制模块控制的X轴电机、Y轴电机和Z轴电机。
5.如权利要求4所述的一种基于图像处理的重叠细导线抓取系统，其特征在于，
所述PLC包括XYZ轴初始化单元、XYZ轴定位原点单元、XYZ轴实时数据更新单元、手动程序单元、循环中断单元和抓取细导线单元，其中，XYZ轴初始化单元对X轴电机、Y轴电机、Z轴电机进行初始化；XYZ轴定位原点单元将X轴电机、Y轴电机、Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元利用运动控制模块实现对X轴电机、Y轴电机、Z轴电机调至期望位置和点动控制；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元控制电机抓取细导线。
6.如权利要求1所述的一种基于图像处理的重叠细导线抓取系统，其特征在于，
所述抓取系统还包括监控系统，所述监控系统包括起始画面模块、自动画面模块和手动画面模块，所述起始画面模块、自动画面模块和手动画面模块显示X轴电机、Y轴电机和Z轴电机的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机和Z轴电机的动作指示灯观察电机动作情况，所述自动画面模块和手动画面模块用于不同画面的切换，所述手动画面模块对电机在运动过程中进行校准。
7.一种基于图像处理的重叠细导线抓取方法，基于权利要求1-6任一项所述的基于图像处理的重叠细导线抓取系统，其特征在于，包括如下步骤：
工业相机采集重叠细导线及周围区域的图像信息；
图像处理系统对采集到的图像信息进行预处理后，对细导线进行特征提取，确定抓取位置的世界坐标；
PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取。
8.如权利要求7所述的抓取方法，其特征在于，所述图像处理系统对采集到的图像信息进行预处理，包括以下步骤：
(1)灰度处理
首先灰度处理单元在0-255的像素内选取一个阈值作为设定阈值，再将采集到的图像上每一个点的灰度与设定阈值比较，若该点的灰度比阈值大则赋予255，如果该点的灰度比阈值小则赋予0，得到灰度图；
(2)图像滤波
图像滤波单元采用滤波算法，对所述灰度图进行二值化降噪；
(3)细导线边缘检测
细导线边缘检测单元采用高斯滤波与Canny边缘检测模块结合的边缘检测方式，经过高斯滤波、获取梯度数据、梯度非极大抑制、双阈值精度定位后，得到边缘轮廓。
9.如权利要求7所述的抓取方法，其特征在于，
所述对细导线进行特征提取，包括以下步骤：
(1)细导线轮廓提取
所述轮廓提取单元在边缘检测后的图像上对细导线提取轮廓，得到若干段细导线的轮廓图像；
(2)几何特征提取
几何特征提取单元通过比较每一段细导线轮廓的面积判断最先被抓取的细导线，并且求出最大面积轮廓的质心，通过坐标变换得到PLC要抓取的位置。
10.如权利要求7所述的抓取方法，其特征在于，
所述PLC接收抓取位置的世界坐标，控制电机对细导线进行抓取，包括如下步骤：
(1)流程设置
X轴电机、Y轴电机和Z轴电机运动到期望位置，抓取细导线后运动到指定位置放置细导线；
(2)向导配置
运动控制系统选用并导出运动控制模块AXIS_LDPOS、AXIS_GOTO和AXIS_MAN；
(3)程序设计
XYZ轴初始化单元对X轴电机、Y轴电机、Z轴电机进行初始化；XYZ轴定位原点单元利用限位开关将X轴电机、Y轴电机、Z轴电机调制初始位置并设置为坐标原点，采用绝对位置的方式实现定位；XYZ轴实时数据更新单元利用运动控制模块AXIS_MAN实现对X轴电机、Y轴电机、Z轴电机调至期望位置，运用运动控制模块AXIS_MAN实现点动控制，X轴电机、Y轴电机、Z轴电机分别运用并分别用两个地址实现正反转；手动程序单元对X轴电机、Y轴电机、Z轴电机进行初始位置的手动校准；循环中断单元用来实时控制和处理故障；抓取细导线单元在控制步进电机抓取细导线时采用顺序功能图控制步进电机，在每一步之间采用定时器的方法进行控制；
(4)系统监控
起始画面模块、自动画面模块、手动画面模块实时显示X轴电机、Y轴电机、Z轴电机三轴的实际位置、期望位置和指定位置，并通过X轴电机、Y轴电机、Z轴电机的动作指示灯观察电机动作情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011106220.4A CN112258576A (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像处理的重叠细导线抓取系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011106220.4A CN112258576A (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像处理的重叠细导线抓取系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112258576A true CN112258576A (zh) | 2021-01-22 |
Family
ID=74243694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011106220.4A Pending CN112258576A (zh) | 2020-10-16 | 2020-10-16 | 一种基于图像处理的重叠细导线抓取系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258576A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486731A (zh) * | 2021-06-17 | 2021-10-08 | 国网山东省电力公司汶上县供电公司 | 输电设备异常状态监测方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710080A (zh) * | 2009-12-01 | 2010-05-19 | 湖南大学 | 一种基于机器视觉的码垛玻璃瓶检测方法与搬运机 |
| CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警系统 |
| CN106901933A (zh) * | 2017-03-15 | 2017-06-30 | 北京唯迈医疗设备有限公司 | 医用床台及其控制方法 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107414474A (zh) * | 2017-08-22 | 2017-12-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种狭窄空间螺栓定位安装机器人及控制方法 |
| CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
| CN109626002A (zh) * | 2019-01-23 | 2019-04-16 | 辽宁工业大学 | 自动码垛机器人及其控制方法 |
| CN209204375U (zh) * | 2018-09-30 | 2019-08-06 | 重庆市中医院 | 一种氧气鼻管的固定敷贴 |
| CN110533717A (zh) * | 2019-08-06 | 2019-12-03 | 武汉理工大学 | 一种基于双目视觉的目标抓取方法及装置 |
| CN110665848A (zh) * | 2019-10-31 | 2020-01-10 | 华侨大学 | 基于ccd相机与高光谱相机检测的建筑固废分拣系统 |
| CN110816892A (zh) * | 2019-10-10 | 2020-02-21 | 中国科学院力学研究所 | 一种低轨道地磁蓄能在轨投送的航天器章动抑制方法 |
| CN111126174A (zh) * | 2019-12-04 | 2020-05-08 | 东莞理工学院 | 一种用于机器人抓取零件的视觉检测方法 |
| CN111470327A (zh) * | 2020-05-25 | 2020-07-31 | 常州墨狄机器人科技有限公司 | 一种视觉码垛设备及其视觉信息处理方法 |
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
-
2020
- 2020-10-16 CN CN202011106220.4A patent/CN112258576A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710080A (zh) * | 2009-12-01 | 2010-05-19 | 湖南大学 | 一种基于机器视觉的码垛玻璃瓶检测方法与搬运机 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警系统 |
| CN106901933A (zh) * | 2017-03-15 | 2017-06-30 | 北京唯迈医疗设备有限公司 | 医用床台及其控制方法 |
| CN107414474A (zh) * | 2017-08-22 | 2017-12-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种狭窄空间螺栓定位安装机器人及控制方法 |
| CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
| CN209204375U (zh) * | 2018-09-30 | 2019-08-06 | 重庆市中医院 | 一种氧气鼻管的固定敷贴 |
| CN109626002A (zh) * | 2019-01-23 | 2019-04-16 | 辽宁工业大学 | 自动码垛机器人及其控制方法 |
| CN110533717A (zh) * | 2019-08-06 | 2019-12-03 | 武汉理工大学 | 一种基于双目视觉的目标抓取方法及装置 |
| CN110816892A (zh) * | 2019-10-10 | 2020-02-21 | 中国科学院力学研究所 | 一种低轨道地磁蓄能在轨投送的航天器章动抑制方法 |
| CN110665848A (zh) * | 2019-10-31 | 2020-01-10 | 华侨大学 | 基于ccd相机与高光谱相机检测的建筑固废分拣系统 |
| CN111126174A (zh) * | 2019-12-04 | 2020-05-08 | 东莞理工学院 | 一种用于机器人抓取零件的视觉检测方法 |
| CN111504328A (zh) * | 2020-05-22 | 2020-08-07 | 梅卡曼德（北京）机器人科技有限公司 | 机器人运动规划方法、路径规划方法、抓取方法及其装置 |
| CN111470327A (zh) * | 2020-05-25 | 2020-07-31 | 常州墨狄机器人科技有限公司 | 一种视觉码垛设备及其视觉信息处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 泽润百川: "西门子200SMART运动控制指令精讲", 《泽润百川自动化技术》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486731A (zh) * | 2021-06-17 | 2021-10-08 | 国网山东省电力公司汶上县供电公司 | 输电设备异常状态监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109974582B (zh) | 一种汽车线束的芯线尺寸非接触式视觉检测装置及方法 | |
| CN108890652B (zh) | 一种变电站巡检机器人及变电站设备巡检方法 | |
| US9230329B2 (en) | Method, computer program and apparatus for determining a gripping location | |
| ES2730952T3 (es) | Procedimiento para el filtrado de imágenes de objetos objetivo en un sistema robótico | |
| CN109839384B (zh) | 用于微型振动马达缺陷检测的视觉检测仪及检测方法 | |
| CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
| CN107263468A (zh) | 一种利用数字图像处理技术的scara机器人装配方法 | |
| CN103529855A (zh) | 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用 | |
| CN105468033A (zh) | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 | |
| CN109409395A (zh) | 在电力监控中采用模板匹配法识别目标物体区域电气符号的方法 | |
| CN105835507A (zh) | 一种手机盖板玻璃和液晶屏的贴合方法 | |
| CN109117764A (zh) | 在电力监控中采用颜色阈值法识别目标物体区域电气符号的方法 | |
| CN112258576A (zh) | 一种基于图像处理的重叠细导线抓取系统及方法 | |
| CN110640741A (zh) | 一种规则形状工件匹配的抓取工业机器人 | |
| CN108582075A (zh) | 一种智能机器人视觉自动化抓取系统 | |
| CN110111330A (zh) | 手机屏幕检测方法 | |
| CN114851209B (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及系统 | |
| CN113689509A (zh) | 基于双目视觉的无序抓取方法、系统及存储介质 | |
| CN108972556B (zh) | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 | |
| CN117132655B (zh) | 基于机器视觉的灌装桶口位置测量方法 | |
| CN116985141A (zh) | 一种基于深度学习的工业机器人智能控制方法及系统 | |
| CN113334380A (zh) | 基于双目视觉的机器人视觉标定方法、控制系统及装置 | |
| CN109407299B (zh) | 一种智能光学显微图像采集设备 | |
| CN206416179U (zh) | 一种基于双目视觉的运动目标跟踪定位与抓取系统 | |
| CN114463244A (zh) | 一种视觉机器人抓取系统及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |