CN109186457B - 一种双目的零件识别方法和装置及使用该装置的生产线 - Google Patents
一种双目的零件识别方法和装置及使用该装置的生产线 Download PDFInfo
- Publication number
- CN109186457B CN109186457B CN201811071774.8A CN201811071774A CN109186457B CN 109186457 B CN109186457 B CN 109186457B CN 201811071774 A CN201811071774 A CN 201811071774A CN 109186457 B CN109186457 B CN 109186457B
- Authority
- CN
- China
- Prior art keywords
- point
- points
- binocular
- actual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种双目的零件识别方法和装置及使用该装置的生产线,通过预存零件信息,以及通过双目摄像头获取零件在同一位置的两张图像,根据图像上的识别点识别零件种类和实际在生产线中零件姿态,根据获取的零件姿态计算得出零件待加工位置的实际位置和姿态。以方便控制单元对机械手拾取零件的角度进行调整,在保证了生产质量的前提下,减轻了工人的劳动量,以及减少对生产线的投资。
Description
技术领域
本发明属于视觉识别领域,尤其是涉及一种视觉抓取设备及其识别方法。
背景技术
车体生产中,经常需要对一些钣金件进行螺母焊接,现在通常将钣金件放到传送带上,通过螺母输送机对钣金上的预定位置进行螺母的焊接,但是实际生产中为了使螺母安装准确,需要将钣金件按照形状分类,之后根据一定角度放置在传送设备上,到达指定工位后,由机械手将螺母焊接在预定位置,但是如此一来,加大了工人的劳动量,且在螺母焊接过程中由于钣金件的形状区别,往往需要多条生产线分别生产,加大了生产投资。
发明内容
有鉴于此,本发明旨在提出一种视觉抓取设备及其识别方法,以识别同一生产线上的不同零件,以及零件姿态,保证零件安装的准确。
为达到上述目的,本发明的技术方案是这样实现的:
一种双目的零件识别方法,包括
S10对零件进行标记,将每个零件的标记点和待加工点预存到数据库中,并将两种点在三维坐标系中定位,得到标记点标准位置坐标和待加工点标准位置坐标;
S20通过双目摄像头的第一感光元件和第二感光元件获取零件的第一图像和第二图像,识别并获取零件的三维轮廓信息和标记点的实际位置坐标;
S30根据第一图像和第二图像中的标记点与数据库中的标记点对比匹配,判断零件种类;
S40根据标记点的实际位置坐标和标准位置坐标,计算得出零件的偏移角度和零件的实际姿态。
进一步的,所述识别到零件的偏移角度和实际姿态之后,还包括将该零件的待加工点位置坐标根据零件偏移角度和姿态进行调整,获得该零件待加工位置点的实际坐标。
进一步的,在零件通过双目摄像头获取第一图像和第二图像之前,还包括用能感应零件到位的装置控制双目摄像头的启闭。
进一步的,所述感应零件到位的装置为光栅。
基于上述方法,提供一种装置,包括
预处理模块,对零件进行标记,将每个零件的标记点和待加工点预存到数据库中,并将两种点在三维坐标系中定位,得到标记点标准位置坐标和待加工点标准位置坐标;
图像获取模块,用于通过双目摄像头的第一感光元件和第二感光元件获取零件的第一图像和第二图像,识别并获取零件的三维轮廓信息和标记点的实际位置坐标;
线段建立模块,用于根据第一图像和第二图像中的标记点与数据库中的标记点对比匹配,判断零件种类;
姿态计算模块,用于根据标记点的实际位置坐标和标准位置坐标,计算得出零件的偏移角度和零件的实际姿态。
进一步的,该装置还包括启动模块,用于控制图像获取模块开始工作。
进一步的,该装置还包括待加工点位计算模块,在零件通过双目摄像头获取第一图像和第二图像之前,还包括用能感应零件到位的装置控制双目摄像头的启闭。
一使用上述装置的生产线,包括双目识别装置和依次设置的第一传送带和第二传送带,所述两传送带(第一传送带和第二传送带)之间设有机械手和凸焊机,所述图像获取模块设于第一传送带上方。
进一步的,该生产线还包括控制图像获取模块的光栅,所述光栅的光幕分设于第一传送带的两侧,且设于图像获取模块的前方。
相对于现有技术,本发明所述的一种双目的零件识别方法和装置及使用该装置的生产线具有以下优势:
采用标记点识别零件种类的方法,获取零件的种类和姿态信息,方便控制单元对机械手拾取零件的角度进行调整,在保证了生产质量的前提下,减轻了工人的劳动量,以及减少对生产线的投资。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为一种视觉识别方法的流程示意图;
图2为基于视觉识别方法的生产线俯视示意图;
图3为传送带、光栅、双目摄像头位置关系示意图。
附图标记说明:
1-第一传送带;2-第二传送带;3-双目摄像头;4-机械手;5-凸焊机;6-光栅。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
一种基于双目识别的方法,包括
S10将各个不同零件的标记点和所述标记点组成的集合以及待加工点预存到数据库中,并利用三维坐标系对上述各个标记点进行标准点的位置坐标定位,并将同一零件的标记点连接线段并计算线段长度,组成该零件的线段数据集合。所述标记点为人为选定且在零件上进行特殊符号或颜色标记的点。
S20通过双目摄像头的第一感光元件和第二感光元件获取零件的第一图像和第二图像,根据两图像得到待加工零件上标记点的实际位置坐标以及零件的三维轮廓信息;
S30将标记点在坐标中连接为向量,根据向量长度公式 计算每一段向量的长度,并与数据库中预存的各个零件的线段数据集合中线段的长度匹配,获得线段长度相等比例最大的预存零件信息,则判定该预存零件与该待加工零件为同一零件,且判定两长度相等的线段的两端点相互对应,本领域技术人员应当知道,公式中xa代表A点的X轴坐标,xb代表B点的X轴坐标,ya代表A点Y轴坐标,yb代表Y轴B点坐标。
对标记点的实际位置坐标,首先在第一图像和第二图像中获取标记点位置,之后通过计算方法:将两光感元件的中心分别作为两平面坐标系的原点,分别对零件的同一标记点P进行坐标定位得到P1(x1,y1)和P2(x2,y2),而两摄像头中心之间的距离d已知,两摄像头的焦距均为f,根据公式:解方程可得到P(xp、yp、zp),即为P点三维坐标,进一步得出每个标记点的实际位置坐标;
S40根据所获得的实际位置坐标,选取同一标记点延伸出的两条线段,得到向量:和根据预存的零件标记点标准位置坐标,选取同一标记点延伸出的两条线段,得到向量:和经过公式计算得出:A、B、C所在平面的方程和该平面的法向量和D、E、F所在平面的方程和该平面的法向量其中D点为双目识别系统通过A点经过计算得到的零件实际标记点,E点为双目识别系统通过B点经过计算得到的零件实际标记点,F点为双目识别系统通过C点经过计算得到的零件实际标记点,根据两向量夹角公式,计算得出与夹角为α,即待加工零件实际偏移夹角;通过连接相对应的标记点的实际位置坐标和标准位置坐标得到每个标记点的偏移方向其中P标为零件预存到数据库中的标准的标记点坐标,P实为零件实际的标记点坐标;
通过将ABC平面和DEF平面联立方程组,得出两平面在三维坐标中的交线L,选取交线上任一点PL(xL、yL、zL)与标记点的实际坐标连线并延伸至零件的轮廓处并得到轮廓上的点坐标P标(x标、y标、z标),根据相似三角形原理得公式:通过公式计算得出根据向量长度公式推导得到P实坐标,即零件实际轮廓上的点的坐标,重复上述计算,从而得到零件的实际姿态;同样根据上述公式计算得出零件的待加工点位实际姿态和实际位置坐标,显然本领域技术人员应该知道,零件的待加工点位的偏移角度和姿态应该与零件是一致的。
对于标记点的识别,可以先将标记点用颜色在零件上进行标记,之后再第一图像和第二图像中通过识别和筛选图像中所用颜色的RGB值,确认标记点位置。
一种零件识别装置,通过双目摄像头获取待加工零件的第一图像和第二图像,通过计算得到第一图像和第二图像上标记点的坐标和三维轮廓信息,并且通过预存的标记点坐标和实际标记点坐标得到零件的偏移角度和偏移方向,通过偏移方向和角度得出零件的姿态。
并通过在计算机中输入每种零件的待加工点位,以及该点位应安装的元件类型和尺寸,控制动作单元对该待加工点位进行加工。其中动作单元包括螺母输送机、与螺母输送机相连接的凸焊机、运送零件的机械臂等。
一种使用上述识别装置的生产线,包括用于输送待加工零件的第一传送带和第二传送带,两传送带之间设有能拾取待加工零件的机械手和给待加工零件焊接螺母的凸焊机加工平台。
所述第一传送带在第二传送带的上游,一光栅跨设在第一传送带的上表面,图像获取模块设于第一传送带上方,其中光栅用于感应经过的待加工零件是否到位,当零件到位后图像获取模块的第一光感元件和第二光感元件对零件进行拍摄,获取零件的第一图像和第二图像,通过一计算机对所获得的两图像进行过滤、除噪,并识别图像中的标记点。将处理后的图像的标记点与预存在数据库内的各零件的标记点进行匹配比对,以识别零件种类,并计算零件的偏移角度。
在预先储存零件和零件标记点的过程中,将每个零件的待加工位置进行标记,通过获取的偏移角度,以及计算得出零件的实际待加工;
所述待安装零件为不同型号的螺母,所述加工平台出处设有螺母焊接输送机。
所述两传送带并排设置,在工作中,工人只需要将各个待加工的零件放到第一传送带上,且此过程中并不需要对零件的外形进行分类,传送带将零件输送到光栅处,经过光栅感应判定零件到位,双目摄像头开始工作,判定零件种类和零件在传送带上的姿态角度,利用判定结果控制机械手拾取零件,且机械手通过端部的吸盘拾取零件,并将零件通过调整以标准姿态放置到加工平台上,处理器根据识别零件信息和预存的待加工位置以及数据库中的预存信息控制凸焊机选取合适螺母,并将螺母焊接到零件的预定位置。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种双目的零件识别方法,其特征在于:包括
S10对零件进行标记,将每个零件的标记点和待加工点预存到数据库中,并将两种点在三维坐标系中定位,得到标记点标准位置坐标和待加工点标准位置坐标,将同一零件的标记点连接线段并计算线段长度,组成该零件的线段数据集合;
S20通过双目摄像头的第一感光元件和第二感光元件获取零件的第一图像和第二图像,识别并获取零件的三维轮廓信息和标记点的实际位置坐标;
S30将标记点在坐标中连接为向量,并计算每一段向量的长度,与数据库中预存的各个零件的线段数据集合中线段的长度匹配,获得线段长度相等比例最大的预存零件信息,则判定该预存零件与该待加工零件为同一零件,判断零件种类;
S40根据所获得的实际位置坐标,选取同一标记点延伸出的两条线段,得到向量和根据预存的零件标记点标准位置坐标,选取同一标记点延伸出的两条线段,得到向量和其中D点为双目识别系统通过A点经过计算得到的零件实际标记点,E点为双目识别系统通过B点经过计算得到的零件实际标记点,F点为双目识别系统通过C点经过计算得到的零件实际标记点;经过公式计算得出:A、B、C所在平面的方程和该平面的法向量和D、E、F所在平面的方程和该平面的法向量根据两向量夹角公式,计算得出与夹角为α,通过连接相对应的标记点的实际位置坐标和标准位置坐标得到每个标记点的偏移方向通过将ABC所在平面和DEF所在平面联立方程组,得出两平面在三维坐标中的交线L,选取交线上任一点PL(xL、yL、zL)与标记点的实际坐标连线并延伸至零件的轮廓处并得到轮廓上的点坐标P标(x标、y标、z标),根据相似三角形原理得公式:通过公式计算得出根据向量长度公式推导得到P实坐标,即零件实际轮廓上的点的坐标,重复上述计算,从而得出零件的偏移角度和零件的实际姿态。
2.根据权利要求1所述的一种双目的零件识别方法,其特征在于:所述识别到零件的偏移角度和实际姿态之后,还包括将该零件的待加工点位置坐标根据零件偏移角度和姿态进行调整,获得该零件待加工位置点的实际坐标。
3.根据权利要求1所述的一种双目的零件识别方法,其特征在于:在通过双目摄像头获取第一图像和第二图像之前,还包括用能感应零件到位的装置控制双目摄像头的启闭。
4.根据权利要求3所述的一种双目的零件识别方法,其特征在于:所述感应零件到位的装置为光栅。
5.一种应用于权利要求1-4任一项所述方法的双目的零件识别装置,其特征在于:包括
预处理模块,对零件进行标记,将每个零件的标记点和待加工点预存到数据库中,并将两种点在三维坐标系中定位,得到标记点标准位置坐标和待加工点标准位置坐标;
图像获取模块,用于通过双目摄像头的第一感光元件和第二感光元件获取零件的第一图像和第二图像,识别并获取零件的三维轮廓信息和标记点的实际位置坐标;
线段建立模块,用于根据第一图像和第二图像中的标记点与数据库中的标记点对比匹配,判断零件种类;
姿态计算模块,用于根据标记点的实际位置坐标和标准位置坐标,计算得出零件的偏移角度和零件的实际姿态。
6.根据权利要求5所述的一种双目的零件识别装置,其特征在于:该装置还包括启动模块,用于控制图像获取模块开始工作。
7.根据权利要求5所述的一种双目的零件识别装置,其特征在于:该装置还包括待加工点位计算模块,在零件通过双目摄像头获取第一图像和第二图像之前,还包括用能感应零件到位的装置控制双目摄像头的启闭。
8.一种生产线,包括权利要求5-7任一项所述的零件识别装置,其特征在于:包括双目摄像头(3)和依次设置的第一传送带(1)和第二传送带(2),所述第一传送带(1)和第二传送带(2)之间设有机械手(4)和凸焊机(5),所述双目摄像头(3)设于第一传送带上方。
9.根据权利要求8所述的一种生产线,其特征在于:该生产线还包括控制双目摄像头启闭的光栅,所述光栅的光幕分设于第一传送带的两侧,且位于双目摄像头的前方。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811071774.8A CN109186457B (zh) | 2018-09-14 | 2018-09-14 | 一种双目的零件识别方法和装置及使用该装置的生产线 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811071774.8A CN109186457B (zh) | 2018-09-14 | 2018-09-14 | 一种双目的零件识别方法和装置及使用该装置的生产线 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109186457A CN109186457A (zh) | 2019-01-11 |
CN109186457B true CN109186457B (zh) | 2021-02-12 |
Family
ID=64911290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811071774.8A Active CN109186457B (zh) | 2018-09-14 | 2018-09-14 | 一种双目的零件识别方法和装置及使用该装置的生产线 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109186457B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109827507B (zh) * | 2019-01-22 | 2021-05-25 | 上海蔚来汽车有限公司 | 基于定焦距相机的视觉定位换电方法及换电系统 |
CN110006361B (zh) * | 2019-03-12 | 2021-08-03 | 精诚工科汽车系统有限公司 | 基于工业机器人的零件自动化检测方法及系统 |
CN111854600B (zh) * | 2019-04-28 | 2022-04-12 | 大族激光科技产业集团股份有限公司 | 一种定位装置及其定位方法、基板加工设备 |
CN111199542A (zh) * | 2019-12-30 | 2020-05-26 | 季华实验室 | 工装板的精确定位方法 |
CN112070719B (zh) * | 2020-08-10 | 2023-05-16 | 盐城工学院 | 一种自动化零件视觉检测系统 |
CN113212889B (zh) * | 2021-02-26 | 2023-11-03 | 深圳市云鼠科技开发有限公司 | 包装视觉检漏装置、方法、计算机设备及存储介质 |
CN113118604B (zh) * | 2021-04-23 | 2022-02-08 | 上海交通大学 | 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统 |
CN114594728A (zh) * | 2022-02-07 | 2022-06-07 | 厦门聚视智创科技有限公司 | 一种高精度低成本的手机主板加工位置反馈系统 |
CN114742789B (zh) * | 2022-04-01 | 2023-04-07 | 桂林电子科技大学 | 一种基于面结构光的通用零件拾取方法、系统及电子设备 |
CN114494249B (zh) * | 2022-04-01 | 2022-06-14 | 济南奥图自动化股份有限公司 | 超高强刚热冲压生产线中热成型工件定位检测方法 |
CN114972505B (zh) * | 2022-04-29 | 2023-05-12 | 弥费科技(上海)股份有限公司 | 一种位置识别系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3225740B2 (ja) * | 1994-05-25 | 2001-11-05 | 株式会社デンソー | 山積み部品の高速ピッキング装置 |
DE10242710A1 (de) * | 2002-09-13 | 2004-04-08 | Daimlerchrysler Ag | Verfahren zum Herstellen eines Verbindungsbereiches auf einem Werkstück |
DE10308684A1 (de) * | 2003-02-28 | 2004-09-09 | Borries Markier-Systeme Gmbh | Verfahren zur Qualitätskontrolle von zweidimensionalen Matrix-Codes an metallischen Werkstücken mit einem Bildverarbeitungsgerät |
ATE496711T1 (de) * | 2008-03-12 | 2011-02-15 | Schuler Automation Gmbh & Co | Vorrichtung und verfahren zur lageausrichtung von plattenförmigen teilen |
JP6658054B2 (ja) * | 2016-02-16 | 2020-03-04 | トヨタ車体株式会社 | 車体部品の施工部位判定システム及び施工部位判定方法 |
CN106737664B (zh) * | 2016-11-25 | 2020-02-14 | 中国科学院自动化研究所 | 分拣多类工件的Delta机器人控制方法及系统 |
CN107192331A (zh) * | 2017-06-20 | 2017-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于双目视觉的工件抓取方法 |
CN207600390U (zh) * | 2017-12-29 | 2018-07-10 | 法雷奥市光(中国)车灯有限公司 | 工件自动化分拣设备 |
-
2018
- 2018-09-14 CN CN201811071774.8A patent/CN109186457B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109186457A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109186457B (zh) | 一种双目的零件识别方法和装置及使用该装置的生产线 | |
US10232512B2 (en) | Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus | |
US11046530B2 (en) | Article transfer apparatus, robot system, and article transfer method | |
CN110497187B (zh) | 基于视觉引导的太阳花模组装配系统 | |
CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的系统和方法 | |
CN108827154B (zh) | 一种机器人无示教抓取方法、装置及计算机可读存储介质 | |
CN107192331A (zh) | 一种基于双目视觉的工件抓取方法 | |
JP6734253B2 (ja) | ワークを撮像する視覚センサを備える撮像装置 | |
CN113102880A (zh) | 一种基于视觉示教的线激光焊缝自动跟踪系统及方法 | |
JP2019072792A (ja) | 作業システム、物品に対する作業実施方法、およびロボット | |
CN109297433A (zh) | 3d视觉引导拆垛测量系统及其控制方法 | |
CN110740841B (zh) | 作业系统 | |
CN110980276B (zh) | 一种三维视觉配合机器人实施铸件自动下料的方法 | |
EP3910593A1 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
CN113631295B (zh) | 用于配置用于压力机自动化的工件保持装置的方法 | |
CN113160162A (zh) | 应用于工件的孔识别方法、孔识别装置和孔处理设备 | |
CN109465316A (zh) | 智能集成设备及应用智能集成设备的折弯方法 | |
CN109916346B (zh) | 一种基于视觉系统的工件平整度的检测装置及检测方法 | |
CN205869697U (zh) | 一种机器人自动凸焊精确定位的装置 | |
JP7177639B2 (ja) | 帯状物の3次元計測方法および帯状物の3次元計測装置 | |
CN109895086A (zh) | 一种机器视觉的电梯门板抓举装置及方法 | |
JP6594052B2 (ja) | 組み立て設備検査方法 | |
TWI760596B (zh) | 線狀物之前端移動方法、控制裝置以及三維相機 | |
JP4513047B2 (ja) | 表面欠陥検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |