CN113146172A - 一种基于多视觉的检测与装配系统及方法 - Google Patents

Abstract

本发明公开了一种基于多视觉的检测与装配系统及方法，所述系统包括工业机器人、第一相机、第二相机、第三相机、工控机，工控机与工业机器人相连，用于根据第一相机拍摄到的第一图像定位工作台面上的工件，引导工业机器人的末端带动第二相机移动到工件上方；用于根据第二相机拍摄到的第二图像对工件进行二次定位以及检测工件是否有瑕疵；以及用于根据第三相机拍摄到的第三图像二次检测工件是否有瑕疵及对工件进行角度测量，根据测量得到的角度控制工业机器人移动到装配区进行装配作业。本发明通过将机器视觉联合工业机器人自动完成工件的检测与装配，提高生产效率，降低次品率。

Description

一种基于多视觉的检测与装配系统及方法

技术领域

本发明属于工业自动化检测与装配技术领域，具体涉及一种基于多视觉的检测与装配系 统及方法。

背景技术

随着机器人技术的快速发展，越来越多的工业机器人应用到工业自动化的领域。工业机 器人是面向工业领域多关节或多自由度的机器装置，它能自动的开展工作，主要依靠动力系 统和控制系统来进行作业。工业机器人已经广泛用于电子及3C制造、汽车及零部件制造、 物品分拣、石木制品加工等行业，主要完成上下料、装配、弧焊、点焊、码垛、打磨去毛刺、 分拣等作业。

传统工业机器人大多采用示教、再现的模式，在执行任务的时候，只是重复再现通过编 程存储起来的作业程序，工作路径和位姿都是提前设置好的。如果更换要抓取的产品或者产 品位置发生变化就必须对机器人运动轨迹重新规划，重新编写程序，大大降低了整个系统的 智能性。随着机器视觉技术的迅速发展，机器视觉技术适用于产品表面质量检测、工件尺寸 测量和目标识别与定位等方面。机器视觉在工业制造领域主要被用于模拟人的视觉，从实际 的生产图片中获取可用信息，快速做出计算和判断，将结果反馈给下位机。将机器视觉技术 应用到工业机器人成为了工业制造最新的发展方向。通过给工业机器人增加视觉功能，赋予 了工业机器人对外界环境的感知能力，极大地增强了工业机器人的智能化，使得自动化生产 更加灵活，生产效率更加高效。

传统的通过人眼来检测物体瑕疵，不仅效率低，而且不能每个物体都进行检测，次品率 高。且通过人做简单重复的装配作业，有装配精度低、效率低、容易疲劳等缺点。

因此，如何提供一种基于视觉的检测与装配系统，来满足工业自动化检测与装配的需求， 是一个急需解决的问题。

发明内容

本发明的主要目的在于提供一种基于多视觉的检测与装配系统及方法，从而克服现有技 术的不足。

为实现前述发明目的，本发明采用的技术方案包括：一种基于多视觉的检测与装配系统， 包括工业机器人、第一相机、第二相机、第三相机、工控机和多个工位，所述多个工位至少 包括工作台面、检测及矫正区及装配区，

所述第一相机安装于工作台面的上方，所述第二相机安装于工业机器人的末端，所述第 三相机设置于检测及矫正区，所述第一相机、第二相机和第三相机均与工控机相连，用于分 别对工作台面、工作台面上的工件及检测及矫正区的工件进行拍照，且分别将采集得到的第 一图像、第二图像和第三图像发送给工控机；

所述工控机与工业机器人相连，用于根据所述第一图像定位工作台面上的工件，引导工 业机器人的末端带动第二相机移动到工件上方；用于根据所述第二图像对工件进行二次定位 以及检测工件是否有瑕疵；以及用于根据所述第三图像二次检测工件是否有瑕疵及对工件进 行角度测量，根据测量得到的角度控制工业机器人移动到装配区进行装配作业。

在一优选实施例中，所述第一相机用于对工作台面进行拍照，将采集到的第一图像发送 给工控机，所述工控机用于对第一图像进行处理，且将处理后的第一图像与预先建立的第一 模板相匹配，搜索出第一图像中工件的位置，且将工件在第一图像中的位置坐标转换为工业 机器人坐标系下的第一坐标，将转换后的第一坐标发送给工业机器人，工业机器人的末端移 动到工件的上方。

在一优选实施例中，所述第二相机用于对工作台面上的工件进行拍照，将采集到的第二 图像发送给工控机，所述工控机用于对第二图像进行处理，且将处理后的第二图像与预先建 立的第二模板相匹配，搜索出第二图像中工件的位置，且将工件在第二图像中的位置坐标转 换为工业机器人坐标系下的第二坐标；所述工控机还用于判断工件是否存在瑕疵，若为良品， 则将所述第二坐标和检测及矫正区坐标发送给工业机器人，工业机器人将工件抓取工件到检 测及矫正区。

在一优选实施例中，所述第三相机用于对检测及矫正区的工件进行拍照，将采集到的第 三图像发送给工控机，所述工控机用于对第三图像进行处理，且将处理后的第三图像与预先 建立的第三模板相匹配，搜索出第三图像中工件的位置，根据工件在第三图像中的位置二次 检测工件是否有瑕疵，若为良品，则工控机测量工件在第三图像中的角度，求测量得到的角 度与目标角度的差值，根据所述差值计算出工业机器人的末端执行器的旋转角度，将工业机 器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人，工业机器人将移动到 被装配工件的位置处进行装配作业。

在一优选实施例中，所述工控机将第一图像或第二图像或第三图像与对应的模板至少采 用基于形状的模板匹配、基于灰度的模板匹配、基于互相关的模板匹配、基于组件的模板匹 配、基于变形的模板匹配中的任意一种模板匹配算法相匹配。

在一优选实施例中，所述工控机判断工件是否存在瑕疵的过程包括：对所述第二图像或 第三图像进行抠图，对抠出的抠取区域进行处理，所述处理包括对抠取区域进行阈值分割， 之后计算阈值后每个区域面积的大小，根据计算出的面积判断工件是否存在瑕疵。

在一优选实施例中，所述工控机测量工件在第三图像中的角度的过程包括：在目标角度 附近寻找直线边缘，求寻找到的直线边缘与水平线的夹角，即为工件在第三图像中的角度。

在一优选实施例中，所述寻找直线边缘采用XLD轮廓和Hough变换来寻找直线边缘， 所述Hough变换算法包括：

建立一个代表Hough变换后的参数平面的二维累加数组A(a，b)，其中，a为第三图像坐 标空间中直线斜率的范围，b为第三图像坐标空间中直线截距的范围；

将所述二维累加数组A(a，b)初始化，对第三图像坐标空间中的像素值为初始值的点(x，y) 及参数空间中的每一个a和b的对应关系，计算出对应的b值；

每计算出一对(a，b)，将对应的A(a，b)加1；

所有的计算结束后，找到数组A(a，b)中的最大值，最大值所对应的a1，b1即为第三图像坐 标空间中直线的斜率与截距。

在一优选实施例中，所述第一相机的视场范围至少覆盖整个工作台面；所述第二相机和 第三相机的视场范围至少覆盖工件。

在一优选实施例中，所述第一相机、第二相机、第三相机的周围安装有光源。

在一优选实施例中，所述工控机对图像处理时，对图像先进行预处理，所述预处理包括 对比度增强、图像去噪。

在一优选实施例中，所述工控机检测工件瑕疵的方法包括选用阈值方法、阈值加特征方 法、阈值加特征加差分方法、特征训练方法中的任意一种。

本发明实施例提供了一种基于多视觉的检测与装配方法，包括：

S100，第一相机对工作台面进行拍照，将采集到的第一图像发送给工控机，所述工控机 根据所述第一图像与预先定位工作台面上的工件，引导工业机器人的末端带动第二相机移动 到工件上方；

S200，第二相机对工作台面上的工件进行拍照，将采集到的第二图像发送给工控机，所 述工控机根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵；

S300，第三相机对检测及矫正区的工件进行拍照，将采集到的第三图像发送给工控机， 所述工控机根据所述图像二次检测工件是否有瑕疵及对工件进行角度测量，且根据测量得到 的角度控制工业机器人移动到装配区进行装配作业。

在一优选实施例中，所述S100中，所述工控机对第一图像进行处理，且将处理后的第一 图像与预先建立的第一模板相匹配，搜索出第一图像中工件的位置，且将工件在第一图像中 的位置坐标转换为工业机器人坐标系下的第一坐标，将转换后的第一坐标发送给工业机器人， 控制工业机器人的末端移动到工件的上方；

所述S200中，所述工控机对第二图像进行处理，且将处理后的第二图像与预先建立的第 二模板相匹配，搜索出第二图像中工件的位置，且将工件在第二图像中的位置坐标转换为工 业机器人坐标系下的第二坐标，之后判断工件是否存在瑕疵，若为良品，则将第二坐标和检 测及矫正区坐标发送给工业机器人，工业机器人将工件抓取工件到检测及矫正区；

所述S300中，所述工控机对第三图像进行处理，且将处理后的第三图像与预先建立的第 三模板相匹配，搜索出第三图像中工件的位置，根据工件在第三图像中的位置二次检测工件 是否有瑕疵，若为良品，则工控机测量工件在第三图像中的角度，求测量得到的角度与目标 角度的差值，根据所述差值计算出工业机器人的末端执行器的旋转角度，将工业机器人的旋 转角度与装配区中被装配工件的位置坐标发送给工业机器人，工业机器人将移动到被装配工 件的位置处进行装配作业。

与现有技术相比较，本发明的有益效果至少在于：本发明通过将机器视觉系统与工业机 器人系统相结合，实现了工件的检测与装配作业，提高了生产效率，降低了次品率，提高了 装配精度，提高了机器人的智能水平，降低了人工成本，且本发明可以很好的用于生产线工 件的检测和装配。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记 载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。

图1是本发明一实施方式中基于多视觉的检测与装配系统的结构简图；

图2是本发明一实施方式中基于多视觉的检测与装配方法的流程简图；

图3是本发明一实施方式中基于多视觉的检测与装配方法的具体流程图。

附图标记：

1、第一传送带，2、工业机器人，3、第一相机，4、第二相机，5、第三相机，6、工控 机，7、第二传送带，8、方孔圆形齿轮，9、不良品放置区，10、检测及矫正区，11、装配区， 12、被装配工件，13、光源。

具体实施方式

通过应连同所附图式一起阅读的以下具体实施方式将更完整地理解本发明。本文中揭示 本发明的详细实施例；然而，应理解，所揭示的实施例仅具本发明的示范性，本发明可以各 种形式来体现。因此，本文中所揭示的特定功能细节不应解释为具有限制性，而是仅解释为 权利要求书的基础且解释为用于教示所属领域的技术人员在事实上任何适当详细实施例中以 不同方式采用本发明的代表性基础。

本发明所揭示的一种基于多视觉的检测与装配系统及方法，通过将机器视觉联合工业机 器人自动完成工件的检测与装配，提高生产效率，降低次品率。

如图1所示，本发明实施例所揭示的一种基于多视觉的检测与装配系统，用于检测方孔圆 形齿轮(即工件为方孔圆形齿轮)是否缺齿及将方孔圆形齿轮装配到被装配工件上。所述系 统具体包括第一传送带1、工业机器人2、第一相机3、第二相机4、第三相机5、工控机6及第 二传送带7。

其中，第一传送带1上设置有用于放置方孔圆形齿轮8的工作台面(图未示)。在系统正 式开始工作之前，系统需进行手眼标定，具体进行第一相机3与工业机器人2的手眼标定及第 二相机4与工业机器人2的手眼标定。这里的手眼标定是指：工业机器人的坐标系和相机的坐 标系是两个不同的坐标系，为了使相机坐标系和工业机器人坐标系之间建立关系，求取两个 坐标系之间的转换矩阵的过程就是手眼标定。

结合图3所示，第一相机3安装于工作台面的上方，且与工控机6相连，用于快速定位方孔 圆形齿轮8。具体对工作台面进行拍照，并将采集到的第一图像发送给工控机6，优选地，第 一相机3的视场范围至少覆盖整个工作台面，以便系统可获取到方孔圆形齿轮8的位置。工控 机6用于根据第一图像定位工作台面上的工件，引导工业机器人2的末端带动第二相机4移动到 工件上方。具体地，工控机6中的图像处理模块对第一图像进行预处理，具体为去噪处理，判 断得出工作台面上是否存在需要抓取的方孔圆形齿轮8，若存在，则将处理后的第一图像与预 先建立的第一模板相匹配，本实施例中，具体采用基于形状的模板匹配算法，通过该算法搜 索出第一图像中工件的位置，且用手眼标定得到的转换矩阵将工件在第一图像中的位置坐标 转换为工业机器人2坐标系下的第一坐标，将转换后的第一坐标发送给工业机器人2，引导工 业机器人2的末端移动到工件的上方。若不存在，工业机器人2则处于等待状态。这里的转换 矩阵即是手眼标定后得到相机坐标系和工业机器人坐标系之间的转换矩阵。

第二相机4安装于工业机器人2的末端，且与工控机6相连。工控机6若判断第一图像中存 在要抓取的方孔圆形齿轮8，则工业机器人2的末端会带动第二相机4移动到工件的上方，开启 第二相机4工作。第二相机4用于对工作台面上的工件进行拍照，并将采集到的第二图像发送 给工控机6。工控机6用于根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵。 具体地，工控机6中的图像处理模块对第二图像进行处理，且将处理后的第二图像与预先建立 的第二模板相匹配，搜索出第二图像中工件的位置(x，y)，且将工件在第二图像中的位置坐 标转换为工业机器人2坐标系下的第二坐标，将第二坐标先记录，暂时不发送给工业机器人2。 之后工控机6判断工件是否存在瑕疵，本实施例中，瑕疵具体检测过程为：对第二图像进行抠 图操作。抠图后对抠取区域进行处理，先对抠图区域进行阈值分割，选择阈值为180(所选阈 值的大小应根据具体工作环境与工件进行选择，此实施例中选择阈值为180，效果最好)，阈 值分割将目标工件分割出来，然后计算分割出的目标工件在第二图像中的面积S，根据计算出 的面积S来判断工件是否存在瑕疵(要检测的工件瑕疵不同，应选择不同的方法，本实施例根 据目标工件的面积大小即可准确检测出工件是否存在瑕疵)。

若计算出的面积S小于350000(此值根据不同的目标工件可以选择不同的值)，则判定工 件存在缺齿为不良品，则将第二坐标和不良品放置区的坐标发送给工业机器人2，工业机器人 2将工件放置到不良品放置区9。若计算出的面积S大于等于350000，即检测结果为良品(即不 存在瑕疵)，则将第二坐标和检测及矫正区10坐标发送给工业机器人2，工业机器人2将工件 抓取工件到检测及矫正区10。

优选地，第二相机4的视场范围至少覆盖工件尺寸，优选略大于工件，从而有利于提高定 位和检测的精度。

第三相机5设置于检测及矫正区10，且与工控机6相连，用于在工控机6第一次检测工件不 存在瑕疵后，对检测及矫正区10的工件进行拍照，将采集得到的第三图像发送给工控机6。工 控机6用于根据所述第三图像二次检测工件是否有瑕疵及对工件进行角度测量，根据测量得到 的角度控制工业机器人2移动到装配区11进行装配作业。具体地，工控机6中的图像处理模块 对第三图像进行处理，且将处理后的第三图像与预先建立的第三模板相匹配，搜索出第三图 像中工件的位置(x1，y1)，之后工控机6根据工件在第三图像中的位置二次检测工件是否有 瑕疵，本实施例中，瑕疵具体检测过程为：对第三图像进行抠图操作。抠图后对抠取区域进 行处理，先对抠图区域进行阈值分割，选择阈值为180(所选阈值的大小应根据具体工作环境 与工件进行选择，此实施例中选择阈值为180，效果最好)，阈值分割将目标工件分割出来， 然后计算分割出的目标工件在第三图像中的面积S，根据计算出的面积S来判断工件是否存在 瑕疵(要检测的工件瑕疵不同，应选择不同的方法，本实施例根据目标工件的面积大小即可 准确检测出工件是否存在瑕疵)。

若计算出的面积S小于370000(此值根据不同的目标工件可以选择不同的值)，则判定工 件存在缺齿为不良品，则将第三坐标和不良品放置区9的坐标发送给工业机器人2，工业机器 人2将工件放置到不良品放置区9。若计算出的面积S大于等于370000，即检测结果为良品(即 不存在瑕疵)，则工业机器人2继续对测量工件在第三图像中的角度，对工件进行角度矫正。 因工业机器人2的末端执行器在抓取目标工件的时候，工件会发生移动，如果不进行角度矫正， 装配工作会失败。因工件发生的移动较小，所以本实施例中采用在目标角度的附近进行寻找 直线边缘，求寻找到的直线边缘与水平线的夹角，即为工件在第三图像中的角度。此实施例 中寻找边缘使用的是XLD(Extended Line Descriptions，扩展的线性描述，这个是基于亚像 素来提取轮廓)轮廓来寻找边缘，相比以像素为单位来寻找边缘精度更高，装配成功率更高。 为便于对XLD理解，下面对XLD进行解释说明：在相机成像的过程中，获得的图像数据是将图 像进行了离散化的处理，由于感光元件本身的能力限制，到成像面上每个像素只代表附近的 颜色。例如两个感官原件上的像素之间有4.5um的间距，宏观上它们是连在一起的，微观上它 们之间还有无数微小的东西存在，这些存在于两个实际物理像素之间的像素，就被称为亚像 素。此实施例中具体是用Hough(霍夫变换)变换来寻找直线边缘，算法步骤如下：

建立一个代表Hough变换后的参数平面的二维累加数组A(a，b)，其中，a为第三图像坐 标空间中直线斜率的范围，b为第三图像坐标空间中直线截距的范围；

将所述二维累加数组A(a，b)初始化，如初始化为0，对第三图像坐标空间中的像素值为初 始值(如初始值为0)的点(x，y)及参数空间中的每一个a和b的对应关系(具体为b＝-xa+y)， 计算出对应的b值；

每计算出一对(a，b)，将对应的A(a，b)加1；

所有的计算结束后，找到数组A(a，b)中的最大值，最大值所对应的a1，b1即为第三图像坐 标空间中直线的斜率与截距。

寻找到直线边缘后，求寻找到的直线边缘与水平线的夹角，即为工件在第三图像中的角 度，将工业机器人2应旋转的角度与被装配工件位置坐标发送给工业机器人2，工业机器人2 将移动到被装配工件12位置进行装配作业，即将工件装配到被装配工件12上。

求测量得到的角度与目标角度的差值，根据所述差值计算出工业机器人2的末端执行器的 旋转角度(即对工件进行角度矫正)，将工业机器人2的旋转角度与装配区11中被装配工件12 的位置坐标发送给工业机器人2，工业机器人2将移动到被装配工件12的位置处进行装配作业， 装配区11位于第二传送带7上。若检测结果为存在瑕疵(即为不良品)，则将第三坐标和不良 品放置区9的坐标发送给工业机器人2，工业机器人2将工件放置到不良品放置区9。优选地， 第三相机5的视场范围也至少覆盖工件尺寸，优选略大于工件，从而有利于提高检测和角度矫 正的精度。

优选地，上述三个相机(即第一相机3、第二相机4和第三相机5)的周围应安装光源13， 如LED光源，来提供稳定的光照，使相机每次都能采集到清晰的图像，提高整个系统的稳定 性。

优选地，上述工控机6对图像处理时，应先对图像进行预处理，所述预处理包括对比度增 强、图像去噪等操作，提高后续模板匹配的成功率。

优选地，根据识别不同的工件和不同的工况，工控机6将第一图像或第二图像或第三图像 与对应的模板进行匹配应选用合适的模板匹配算法，常用的模板匹配算法有基于形状的模板 匹配算法、基于灰度的模板匹配算法、基于互相关的模板匹配算法、基于组件的模板匹配算 法、基于变形的模板匹配算法等。

优选地，根据检测工件瑕疵的不同，工控机应选用合适的检测方法及合适的打光方式与 光源，常用的检测方法有阈值方法、阈值加特征方法、阈值加特征加差分方法、特征训练方 法等。

优选地，根据测量工件的不同，工控机6应选用合适的测量方法来求工件的旋转角度。

优选地，本发明采用第一相机3和第二相机4配合进行目标工件的检测与抓取，显著提高 了工作效率与定位精度，优于只用一种方式。第三相机5可以对目标工件进行二次瑕疵检测及 角度矫正，降低产品的次品率，提高装配的成功率。且本发明将目标工件的瑕疵检测与装配 作业结合到一个系统中，提高了生产效率。

另外，在系统正式开始工作之前，系统需建立三个目标工件的图像模板(即上述第一模 板、第二模板和第三模板)，用于工控机6的模板匹配。且需设定目标工件在第三图像中的目 标角度，用于工控机6的角度矫正。其中，第一模板的创建过程具体包括：第一相机3对工作 台面进行拍照，将采集到的图像发送至工控机6，工控机6的图像处理模块对图像进行预处理， 具体如进行去噪处理，分析去噪后的图像中的目标工件轮廓是否清晰，若不清晰需调节第一 相机3的对焦旋钮，使图像清晰，若清晰，则对目标工件创建第一模板M1，创建的模板为后 期的模板匹配使用。

第二模板的创建过程具体包括：将工业机器人2末端移至目标工件的上方，安装在工业机 器人2末端的第二相机4对目标工件进行拍照，将采集到的图像发送至工控机6，创建第二模板 M2，模板创建过程同第一模板的创建过程，这里不做赘述。

第三模板的创建过程具体包括：工业机器人2夹取目标工件，将工业机器人2的末端移动 至检测及校正区10，开启第三相机5对目标工件拍照，将采集到的图片发送至工控机6，创建 第二模板M3，模板创建过程同第一模板的创建过程，这里不做赘述。

目标角度的设定过程具体包括：将目标工件装配到被装配的工件上，用工业机器人2将目 标工件夹取到检测及矫正区10的拍照位，开启第三相机5对目标工件拍照，将采集到的图片发 送至工控机6，工控机6的图像处理模块先对图像进行一些预处理工作，然后找到目标工件在 图像中的角度，即为目标角度。

如图2所示，本发明实施例所揭示的一种基于多视觉的检测与装配方法，包括以下步骤：

S100，第一相机3对工作台面进行拍照，将采集到的第一图像发送给工控机6，所述工 控机6根据所述第一图像与预先定位工作台面上的工件，引导工业机器人2的末端带动第二 相机4移动到工件上方。

S200，第二相机4对工作台面上的工件进行拍照，将采集到的第二图像发送给工控机6， 所述工控机6根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵。

S300，第三相机5对检测及矫正区10的工件进行拍照，将采集到的第三图像发送给工控机 6，所述工控机6根据所述图像二次检测工件是否有瑕疵及对工件进行角度测量，且根据测量 得到的角度控制工业机器人2移动到装配区11进行装配作业。

其中，步骤S100～S300的具体实施过程可参照上述系统中的描述，这里不做赘述。

本发明的各方面、实施例、特征及实例应视为在所有方面为说明性的且不打算限制本发 明，本发明的范围仅由权利要求书界定。在不背离所主张的本发明的精神及范围的情况下， 所属领域的技术人员将明了其它实施例、修改及使用。

在本发明案中标题及章节的使用不意味着限制本发明；每一章节可应用于本发明的任何 方面、实施例或特征。

除非另外具体陈述，否则术语“包含(include、includes、including)”、“具有(have、has或 having)”的使用通常应理解为开放式的且不具限制性。

尽管已参考说明性实施例描述了本发明，但所属领域的技术人员将理解，在不背离本发 明的精神及范围的情况下可做出各种其它改变、省略及/或添加且可用实质等效物替代所述实 施例的元件。另外，可在不背离本发明的范围的情况下做出许多修改以使特定情形或材料适 应本发明的教示。因此，本文并不打算将本发明限制于用于执行本发明的所揭示特定实施例， 而是打算使本发明将包含归属于所附权利要求书的范围内的所有实施例。此外，除非具体陈 述，否则术语第一、第二等的任何使用不表示任何次序或重要性，而是使用术语第一、第二 等来区分一个元素与另一元素。

Claims (10)

1.一种基于多视觉的检测与装配系统，其特征在于：所述系统包括工业机器人、第一相机、第二相机、第三相机、工控机和多个工位，所述多个工位至少包括工作台面、检测及矫正区及装配区，

所述第一相机安装于工作台面的上方，所述第二相机安装于工业机器人的末端，所述第三相机设置于检测及矫正区，所述第一相机、第二相机和第三相机均与工控机相连，用于分别对工作台面、工作台面上的工件及检测及矫正区的工件进行拍照，且分别将采集得到的第一图像、第二图像和第三图像发送给工控机；

所述工控机与工业机器人相连，用于根据所述第一图像定位工作台面上的工件，引导工业机器人的末端带动第二相机移动到工件上方；用于根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵；以及用于根据所述第三图像二次检测工件是否有瑕疵及对工件进行角度测量，根据测量得到的角度控制工业机器人移动到装配区进行装配作业。

2.根据权利要求1所述的一种基于多视觉的检测与装配系统，其特征在于：所述第一相机用于对工作台面进行拍照，将采集到的第一图像发送给工控机，所述工控机用于对第一图像进行处理，且将处理后的第一图像与预先建立的第一模板相匹配，搜索出第一图像中工件的位置，且将工件在第一图像中的位置坐标转换为工业机器人坐标系下的第一坐标，将转换后的第一坐标发送给工业机器人，工业机器人的末端移动到工件的上方。

3.根据权利要求1所述的一种基于多视觉的检测与装配系统，其特征在于：所述第二相机用于对工作台面上的工件进行拍照，将采集到的第二图像发送给工控机，所述工控机用于对第二图像进行处理，且将处理后的第二图像与预先建立的第二模板相匹配，搜索出第二图像中工件的位置，且将工件在第二图像中的位置坐标转换为工业机器人坐标系下的第二坐标；所述工控机还用于判断工件是否存在瑕疵，若为良品，则将所述第二坐标和检测及矫正区坐标发送给工业机器人，工业机器人将工件抓取工件到检测及矫正区。

4.根据权利要求1所述的一种基于多视觉的检测与装配系统，其特征在于：所述第三相机用于对检测及矫正区的工件进行拍照，将采集到的第三图像发送给工控机，所述工控机用于对第三图像进行处理，且将处理后的第三图像与预先建立的第三模板相匹配，搜索出第三图像中工件的位置，根据工件在第三图像中的位置二次检测工件是否有瑕疵，若为良品，则工控机测量工件在第三图像中的角度，求测量得到的角度与目标角度的差值，根据所述差值计算出工业机器人的末端执行器的旋转角度，将工业机器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人，工业机器人将移动到被装配工件的位置处进行装配作业。

5.根据权利要求2所述的一种基于多视觉的检测与装配系统，其特征在于：所述工控机将第一图像或第二图像或第三图像与对应的模板至少采用基于形状的模板匹配、基于灰度的模板匹配、基于互相关的模板匹配、基于组件的模板匹配、基于变形的模板匹配中的任意一种模板匹配算法。

6.根据权利要求3或4所述的一种基于多视觉的检测与装配系统，其特征在于：所述工控机判断工件是否存在瑕疵的过程包括：对所述第二图像和第三图像进行抠图，对抠出的抠取区域进行处理，所述处理包括对抠取区域进行阈值分割，之后计算阈值后每个区域面积的大小，根据计算出的面积判断工件是否存在瑕疵。

7.根据权利要求4所述的一种基于多视觉的检测与装配系统，其特征在于：所述工控机测量工件在第三图像中的角度的过程包括：在目标角度附近寻找直线边缘，求寻找到的直线边缘与水平线的夹角，即为工件在第三图像中的角度。

8.根据权利要求7所述的一种基于多视觉的检测与装配系统，其特征在于：所述寻找直线边缘采用XLD轮廓和Hough变换来寻找直线边缘，所述Hough变换算法包括：

建立一个代表Hough变换后的参数平面的二维累加数组A(a，b)，其中，a为第三图像坐标空间中直线斜率的范围，b为第三图像坐标空间中直线截距的范围；

将所述二维累加数组A(a，b)初始化，对第三图像坐标空间中的像素值为初始值的点(x，y)及参数空间中的每一个a和b的对应关系，计算出对应的b值；

每计算出一对(a，b)，将对应的A(a，b)加1；

所有的计算结束后，找到数组A(a，b)中的最大值，最大值所对应的a1，b1即为第三图像坐标空间中直线的斜率与截距。

9.一种基于多视觉的检测与装配方法，其特征在于包括：

S100，第一相机对工作台面进行拍照，将采集到的第一图像发送给工控机，所述工控机根据所述第一图像与预先定位工作台面上的工件，引导工业机器人的末端带动第二相机移动到工件上方；

S200，第二相机对工作台面上的工件进行拍照，将采集到的第二图像发送给工控机，所述工控机根据所述第二图像对工件进行二次定位以及检测工件是否有瑕疵；

S300，第三相机对检测及矫正区的工件进行拍照，将采集到的第三图像发送给工控机，所述工控机根据所述图像二次检测工件是否有瑕疵及对工件进行角度测量，且根据测量得到的角度控制工业机器人移动到装配区进行装配作业。

10.根据权利要求9所述的一种基于多视觉的检测与装配方法，其特征在于：

所述S100中，所述工控机对第一图像进行处理，且将处理后的第一图像与预先建立的第一模板相匹配，搜索出第一图像中工件的位置，且将工件在第一图像中的位置坐标转换为工业机器人坐标系下的第一坐标，将转换后的第一坐标发送给工业机器人，控制工业机器人的末端移动到工件的上方；

所述S200中，所述工控机对第二图像进行处理，且将处理后的第二图像与预先建立的第二模板相匹配，搜索出第二图像中工件的位置，且将工件在第二图像中的位置坐标转换为工业机器人坐标系下的第二坐标，之后判断工件是否存在瑕疵，若为良品，则将第二坐标和检测及矫正区坐标发送给工业机器人，工业机器人将工件抓取工件到检测及矫正区；

所述S300中，所述工控机对第三图像进行处理，且将处理后的第三图像与预先建立的第三模板相匹配，搜索出第三图像中工件的位置，根据工件在第三图像中的位置二次检测工件是否有瑕疵，若为良品，则工控机测量工件在第三图像中的角度，求测量得到的角度与目标角度的差值，根据所述差值计算出工业机器人的末端执行器的旋转角度，将工业机器人的旋转角度与装配区中被装配工件的位置坐标发送给工业机器人，工业机器人将移动到被装配工件的位置处进行装配作业。

Images