CN108520538A - 一种粘合方法、系统、设备和装置 - Google Patents
一种粘合方法、系统、设备和装置 Download PDFInfo
- Publication number
- CN108520538A CN108520538A CN201810171078.8A CN201810171078A CN108520538A CN 108520538 A CN108520538 A CN 108520538A CN 201810171078 A CN201810171078 A CN 201810171078A CN 108520538 A CN108520538 A CN 108520538A
- Authority
- CN
- China
- Prior art keywords
- camera
- product
- coordinates
- manipulator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004026 adhesive bonding Methods 0.000 title claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000004519 manufacturing process Methods 0.000 claims description 47
- 230000007704 transition Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 18
- 238000009434 installation Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 1
- 239000000047 product Substances 0.000 description 227
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 239000000853 adhesive Substances 0.000 description 9
- 230000001070 adhesive effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000006227 byproduct Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 241000252254 Catostomidae Species 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
- B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
- B25J9/041—Cylindrical coordinate type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16B—DEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
- F16B11/00—Connecting constructional elements or machine parts by sticking or pressing them together, e.g. cold pressure welding
- F16B11/006—Connecting constructional elements or machine parts by sticking or pressing them together, e.g. cold pressure welding by gluing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Robotics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种粘合方法，包括：获取第一相机和第二相机分别拍摄的第一产品的图像；获取第三相机和第四相机分别拍摄的第二产品的图像；建立第一相机和第二相机的入料位双相机空间模型，并建立第三相机和第四相机的粘合位双相机空间模型；根据入料位双相机空间模型计算机械手的第一运动坐标，并根据第一运动坐标控制机械手执行第一产品的抓取操作；根据粘合位双相机空间模型计算机械手的第二运动坐标，并根据第二运动坐标控制机械手执行第一产品与第二产品的粘合操作。本发明还公开了一种粘合系统、一种粘合设备和一种粘合装置。采用本发明的实施例，能够实现产品的自动粘合且精确度高。
Description
技术领域
本发明涉及制造行业产品粘合领域，尤其涉及一种粘合方法、系统、设备和装置。
背景技术
平面类产品粘合是多层制品制造的一个关键阶段，在制作多层制品时，需要将平面类产品依次粘贴，并且在粘贴过程中需要严格控制粘合操作，从而保证每一层的平面类产品一一对齐，比如双胶纸的粘合，在进行粘合操作时每一层的双胶纸的边都是对应的。而对于高端制品，粘合标准要求更高。但是常用的粘合方法仍然采用人工手动操作的方式，人工手动粘合制品的效率比较低，再加上需要大量的人力去反复进行粘合操作，失误率也比较高，一旦失误则容易造成资源的浪费。
发明内容
本发明实施例的目的是提供一种粘合方法、系统、设备和装置，能够实现产品的自动粘合且精确度高。
为实现上述目的，本发明实施例提供一种粘合方法，包括：
获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平；
获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第三相机和所述第四相机的拍摄高度齐平；
根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型，并根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
根据所述入料位双相机空间模型计算所述机械手的第一运动坐标，并根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作；
根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标，并根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
与现有技术相比，本发明实施例公开的粘合方法通过获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系，从而建立入料位双相机空间模型并得到机械手的第一运动坐标，再通过获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立坐标系，从而建立粘合位双相机空间模型并得到机械手的第二运动坐标，进而控制机械手根据第一运动坐标执行第一产品的抓取操作，并控制机械手根据第二运动坐标执行第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
作为上述方案的改进，所述根据所述入料位双相机空间模型计算所述机械手的第一运动坐标具体包括：
获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
作为上述方案的改进，所述根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标具体包括:
获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
作为上述方案的改进，所述获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系前，还包括：
根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；
根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
为实现上述目的，本发明实施例还提供一种粘合系统，包括：
产品图像获取单元，用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系，还用于获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平，所述第三相机和所述第四相机的拍摄高度齐平；
双相机空间模型单元，用于根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型；还用于根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
第一运动坐标获取单元，用于根据所述入料位双相机空间模型计算所述机械手的第一运动坐标；
第二运动坐标获取单元，用于根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标；
机械手控制单元，用于根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作，还用于根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
与现有技术相比，本发明实施例公开的粘合系统首先通过产品图像获取单元获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系，从而通过双相机空间模型单元建立入料位双相机空间模型并通过第一运动坐标获取单元得到机械手的第一运动坐标，然后通过产品图像获取单元获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立坐标系，从而通过双相机空间模型单元建立粘合位双相机空间模型并通过第二运动坐标获取单元得到机械手的第二运动坐标，最后通过机械手控制单元控制机械手根据第一运动坐标执行第一产品的抓取操作，并通过机械手控制单元控制机械手根据第二运动坐标执行第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
作为上述方案的改进，所述第一运动坐标获取单元包括：
第一目标操作点获取模块，用于获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
第一转换矩阵获取模块，用于获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
第一运动坐标获取模块，用于通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
作为上述方案的改进，所述第二运动坐标获取单元包括：
第二目标操作点获取模块，用于获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
第二转换矩阵获取模块，用于获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
第二运动坐标获取模块，用于通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
作为上述方案的改进，所述粘合系统还包括姿态矫正单元；
所述姿态矫正单元用于根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；还用于根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
为实现上述目的，本发明实施例还提供一种粘合设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述的粘合方法。
为实现上述目的，本发明实施例还提供一种粘合装置，包括上述实施例所述的粘合设备，还包括：第一相机、第二相机、第三相机、第四相机、第一相机架、第二相机架、第一流水线工作台、第二流水线工作台和机械手；其中，
所述第一相机和所述第二相机设于所述第一相机架上；其中，所述第一相机和所述第二相机的安装位置在水平方向上相等，且所述第一相机和所述第二相机的离地面的高度均高于所述第一流水线工作台离地面的高度；
所述第三相机和所述第四相机设于所述第二相机架上；其中，所述第三相机和所述第四相机的安装位置在水平方向上相等，且所述第三相机和所述第四相机的离地面的高度均高于所述第二流水线工作台离地面的高度；
所述第一流水线工作台用于放置第一产品；
所述第二流水线工作台用于放置第二产品。
与现有技术相比，本发明实施例公开的粘合装置通过第一相机和第二相机分别获取第一产品的图像，从而建立入料位双相机空间模型并得到机械手的第一运动坐标，再通过第三相机和第四相机分别获取第二产品的图像，从而建立粘合位双相机空间模型并得到机械手的第二运动坐标，进而控制机械手根据第一运动坐标执行第一产品的抓取操作，并控制机械手根据第二运动坐标执行第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
附图说明
图1是本发明实施例一提供的一种粘合方法的流程图；
图2是本发明实施例一提供的一种粘合方法中入料位双相机空间模型的示意图；
图3是本发明实施例一提供的一种粘合方法中获取第一运动坐标的流程图；
图4是本发明实施例一提供的一种粘合方法中获取第二运动坐标的流程图；
图5是本发明实施例一提供的一种粘合方法中第一相机的姿态矫正的示意图；
图6是本发明实施例一提供的一种粘合方法中第一产品的图像的水平方向梯度抑制Canny边缘图；
图7是本发明实施例一提供的一种粘合方法中第一产品的图像的垂直方向梯度抑制Canny边缘图；
图8是本发明实施例一提供的一种粘合方法中通过亚像素角点优化算子提取角点的示意图；
图9是本发明实施例二提供的一种粘合系统20的结构示意图；
图10是本发明实施例二提供的一种粘合系统20中第一运动坐标获取单元23的结构示意图；
图11是本发明实施例二提供的一种粘合系统20中第二运动坐标获取单元24的结构示意图；
图12是本发明实施例三提供的一种粘合设备30的结构示意图；
图13是本发明实施例四提供的一种粘合装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1，图1是本发明实施例一提供的一种粘合方法的流程图；包括：
S1、获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平；
S2、获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第三相机和所述第四相机的拍摄高度齐平；
S3、根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型，并根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
S4、根据所述入料位双相机空间模型计算所述机械手的第一运动坐标，并根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作；
S5、根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标，并根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
其中，所述机械手是一种能模仿人手和臂的某些动作功能，用以按固定程序抓取、搬运物件或操作工具的自动操作装置。
具体的，在步骤S1中，将所述第一相机和所述第二相机等高安装，以使所述第一相机的拍摄高度和所述第二相机的拍摄高度齐平。此时，安装好所述第一相机和所述第二相机时，通过获取第一相机拍摄的第一产品的图像并建立第一坐标系，再通过获取第二相机拍摄的第一产品的图像并建立第二坐标系，优选的，所述第一产品可以放置在第一流水线工作台上。
具体的，在步骤S2中，将所述第三相机和所述第四相机等高安装，以使所述第三相机的拍摄高度和所述第四相机的拍摄高度齐平。此时，安装好所述第三相机和所述第四相机时，通过获取第三相机拍摄的第二产品的图像并建立第三坐标系，再通过获取第四相机拍摄的第二产品的图像并建立第四坐标系，优选的，所述第二产品可以放置在第二流水线工作台上。
具体的，在步骤S3中，根据所述第一坐标系和所述第二坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型，此时所述第一坐标和所述第二坐标系对齐,即所述第一相机和所述第二相机共同建立一个坐标系，从而生成第一双相机坐标系；并根据所述第三坐标系和所述第四坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型，此时所述第三坐标和所述第四坐标系对齐,即所述第三相机和所述第四相机共同建立一个坐标系，从而生成第二双相机坐标系。优选的，所述入料位双相机空间模型如图2所示。
具体的，在步骤S4中，获取机械手的第一运动坐标的步骤参考图3，包括：
S41、获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
S42、获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
S43、通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
在步骤S41中，可任意设定所述机械手的初始位置，则对于所述第一产品来说，所述初始位置在所述第一产品的抓取位置可以是所述第一产品的中心位置，所述第一产品的中心位置即为所述机械手的第一目标操作点，如图2所示的C点。
在步骤S42中，所述第一转换矩阵为预先求得的，所述第一转换矩阵的求法具体包括：首先，获取在所述机械手预先设立的机械手坐标系中所述机械手的初始位置的坐标信息，等增量移动所述机械手，记录每次移动时所述机械手的坐标信息，从而形成所述机械手的坐标集，所述机械手的坐标集如下：
r1＝{x1,y1,u1} 公式(1)；
其中，r1为所述机械手的坐标集，x1为所述机械手在所述机械手坐标系的x轴坐标，y1为所述机械手在所述机械手坐标系的y轴坐标，u1为所述机械手与所述机械手坐标系中x轴形成的角度。然后，每次移动所述机械手时还移动所述第一产品，同时记录所述机械手的第一目标操作点的坐标信息，从而形成所述第一目标操作点的坐标集，所述第一目标操作点的坐标集如下：
r2＝{x2,y2,u2} 公式(2)；
其中，r2为所述第一目标操作点的坐标集，x2为所述第一目标操作点在所述第一双相机坐标系的x轴坐标，y2为所述第一目标操作点在所述第一双相机坐标系的y轴坐标,u2为所述第一角点和所述第二角点形成的直线与所述第一双相机坐标系的x轴形成的角度u2，可以根据图2所示的所述第一产品的所述第一角点C1的坐标信息和所述第二角点C2的坐标信息确定u2。
最后，根据所述机械手的初始位置的坐标集和所述第一目标操作点的坐标集可以确定所述第一转换矩阵，公式如下：
r2＝M1*r1 公式(3)；
其中，M1为所述第一转换矩阵。
在步骤S43中，求得所述第一转换矩阵后，可任意设定所述第一目标操作点，通过所述第一转换矩阵可以得出所述第一目标操作点在所述机械手坐标系中对应的第一运动坐标。在求出所述第一运动坐标后，控制所述机械手根据所述第一运动坐标执行所述第一产品的抓取操作。
具体的，在步骤S5中，在所述机械手抓取所述第一产品后，所述机械手还要执行所述第一产品与所述第二产品的粘合操作，此时，获取机械手的第二运动坐标的步骤参考图4，包括：
S51、获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
S52、获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
S53、通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
具体求解所述第二转换矩阵和所述第二运动坐标的过程参考上述求解第一转换矩阵和第一运动坐标的过程，在此不再赘述。需要说明的是，在求所述第二转换矩阵的过程中，所述第二目标操作点为所述机械手将所述第一产品与所述第二产品进行粘合操作的粘合点，所述第二目标操作点与所述第一目标操作点相同。在求出所述第二运动坐标后，控制所述机械手根据所述第二运动坐标执行所述第一产品和所述第二产品的粘合操作。
优选的，基于步骤S1获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系前，本实施例还包括步骤：
S101、根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
进一步的，参见图5，图5是本发明实施例一提供的一种粘合方法中第一相机的姿态矫正的示意图；具体的，左边的相机即为未进行姿态矫正前的第一相机的示意图，经过姿态矫正后的所述第一相机的示意图如右侧相机所示。优选的，所述第二相机、所述第三相机和所述第四相机的矫正过程示意图与所述第一相机的矫正过程示意图相同，在此不再赘述。经过姿态矫正能够消除所述第一相机、所述第二相机、所述第三相机和所述第四相机拍摄的图像的畸变影响，且能够使所述第一相机、所述第二相机、所述第三相机和所述第四相机拍摄的图像的精度不受限于相机的安装位置。
优选的，步骤S42中获取所述第一角点的坐标信息和所述第二角点的坐标信息的过程如下：
S421、利用抑制梯度方向的Canny算子抑制所述第一产品的图像中的梯度方向信息，只提取水平方向与垂直方向附近的图像边缘；
S422、分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的所述第一产品的两条直线，并计算所述第一产品的两条直线的第一交点；
S423、根据亚像素角点优化算子通过迭代算法获取所述第一交点的位置，得到第一角点的坐标信息和第二角点的坐标信息；其中，所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
具体的，在步骤S421中，所述第一产品在流水线工作台上传送时，所述第一产品可能并不是规则放置的，此时所述第一相机与所述第二相机拍摄的所述第一产品的图像中所述第一产品的边缘会指向不同的方向，优选的，可以使用Canny算子来检测所述第一产品的图像的边缘。具体的，所述Canny算子为一个多级边缘检测算法，能够尽可能多地标识出所述第一产品的图像中的实际边缘。所述Canny算子使用4个mask检测水平、垂直以及对角线方向的边缘。所述第一产品的图像与每个mask所作的卷积都存储起来，对于每个点都标识这个点的最大值以及生成的边缘的方向，从而可从所述第一产品的图像中生成每个点的亮度梯度图以及亮度梯度的方向，进而通过提取水平方向与垂直方向均偏差30°内的附近的图像边缘。
通过Canny算子只提取水平方向与垂直方向附近的图像边缘，此时所述第一产品的边缘图的水平方向的示意图如图6所示，所述第一产品的边缘图的垂直方向的示意图如图7所示，图中的白色线条即为所述第一产品的边缘。本发明使用的Canny算子采用非极大值抑制方法优化边缘，在获取图像梯度方向时限制梯度方向，只提取水平方向与垂直方向附近的图像边缘，能够最大限度地去除背景干扰信息，同时还能提高算法的检测速度，以获取更纯净、干扰更小的边缘信息，同时便于后期的直线检测。
具体的，在步骤S422中，通过Hough(霍夫变换)利用所述第一产品的图像空间和Hough参数空间的点－线对偶性，把图像空间中的检测问题转换到参数空间。具体的，所述Hough(霍夫变换)是一个检测间断点边界形状的方法，它通过将图像坐标空间变换到参数空间，来实现直线与曲线的拟合。再通过在参数空间中分别提取水平与垂直域上的点，因为水平与垂直域上的点对应于Hough域上的点，而Hough域上的点对应于Hough域上的线，所以Hough域上线相交最多的点的位置就是水平与垂直方向域上的直线，此时对参数空间中的离散点进行投票，若投票数超过预设限值，则认为有足够多的图像点位于该参数点所决定的直线上，所述投票数就是在该点相交曲线的个数，此时可得出所述直线的相交点的位置信息，即可求出所述第一交点的位置信息。
具体的，在步骤S423中，参见图8，图8是本发明实施例一提供的一种粘合方法中通过亚像素角点优化算子提取角点的示意图；以所述第一角点为例，根据亚像素角点优化算子提取出所述第一交点Q，所述第一交点Q到周围边缘点P的向量垂直于P处的梯度方向，通过迭代移动所述第一交点Q并分别通过迭代算法计算向量QP与P处梯度向量乘积之和D，取梯度向量乘积之和D最小时的位置为第一交点Q的精准位置,从而得到所述第一角点的坐标信息。优选的，所述第二角点的坐标信息的求解过程与上述第一角点的坐标信息的求解过程相同。优选的，所述第一角点和所述第二角点为所述第一产品图像中相邻的两个顶点。通过亚像素角点优化算子提取所述第一角点和所述第二角点的位置信息，在图像旋转、灰度、噪声影响和视点变换的条件下，具有计算简单、数据有效和稳定提取角点的特点。
进一步地，获取所述第二产品的第三角点的坐标信息和第四角点的坐标信息可以参考上述步骤S421～S423，在此不再赘述。
优选的，所述第一产品和所述第二产品可以是平面产品或者是立体产品。在本实施例中所述第一产品和所述第二产品最优选的方案是规则的平面产品，例如双胶纸，但在其他实施例中，所述第一产品和所述第二产品也可以立体产品，都在本发明的保护范围内。
具体实施时，通过获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系，从而建立入料位双相机空间模型并得到机械手的第一运动坐标，再通过获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立坐标系，从而建立粘合位双相机空间模型并得到机械手的第二运动坐标，进而控制机械手根据第一运动坐标执行第一产品的抓取操作，并控制机械手根据第二运动坐标执行第一产品与第二产品的粘合操作。
本发明实施例公开的粘合方法解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
实施例二
参见图9，图9是本发明实施例二提供的一种粘合系统20的结构示意图；包括：
产品图像获取单元21，用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系，还用于获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平，所述第三相机和所述第四相机的拍摄高度齐平；
双相机空间模型单元22，用于根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型；还用于根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
第一运动坐标获取单元23，用于根据所述入料位双相机空间模型计算所述机械手的第一运动坐标；
第二运动坐标获取单元24，用于根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标；
机械手控制单元25，用于根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作，还用于根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
具体的，将所述第一相机和所述第二相机等高安装，以使所述第一相机的拍摄高度和所述第二相机的拍摄高度齐平。此时，安装好所述第一相机和所述第二相机时，所述产品图像获取单元21通过获取第一相机拍摄的第一产品的图像并建立第一坐标系，再通过获取第二相机拍摄的第一产品的图像并建立第二坐标系，优选的，所述第一产品可以放置在第一流水线工作台上。
具体的，将所述第三相机和所述第四相机等高安装，以使所述第三相机的拍摄高度和所述第四相机的拍摄高度齐平。此时，安装好所述第三相机和所述第四相机时，所述产品图像获取单元21通过获取第三相机拍摄的第二产品的图像并建立第三坐标系，再通过获取第四相机拍摄的第二产品的图像并建立第四坐标系，优选的，所述第二产品可以放置在第二流水线工作台上。
具体的，所述双相机空间模型单元22根据所述第一坐标系和所述第二坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型，此时所述第一坐标和所述第二坐标系对齐,即所述第一相机和所述第二相机共同建立一个坐标系，从而生成第一双相机坐标系；所述双相机空间模型单元22还根据所述第三坐标系和所述第四坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型，此时所述第三坐标和所述第四坐标系对齐,即所述第三相机和所述第四相机共同建立一个坐标系，从而生成第二双相机坐标系。优选的，所述入料位双相机空间模型如图2所示。
具体的，参见图10，所述第一运动坐标获取单元23包括：
第一目标操作点获取模块231，用于获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
第一转换矩阵获取模块232，用于获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
第一运动坐标获取模块233，通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
具体的，可任意设定所述机械手的初始位置，则对于所述第一产品来说，所述初始位置在所述第一产品的抓取位置可以是所述第一产品的中心位置，所述第一产品的中心位置即为所述机械手的第一目标操作点，如图2所示的C点，通过所述第一目标操作点获取模块231获取所述第一目标操作点的坐标信息。
具体的，所述第一转换矩阵为预先求得的，在机械手执行所述第一产品的抓取操作时，通过所述第一转换矩阵获取模块232获取所述第一转换矩阵，所述第一转换矩阵的求法具体包括：首先，获取在所述机械手预先设立的机械手坐标系中所述机械手的初始位置的坐标信息，等增量移动所述机械手，记录每次移动时所述机械手的坐标信息，从而形成所述机械手的坐标集，所述机械手的坐标集如下：
r1＝{x1,y1,u1} 公式(1)；
其中，r1为所述机械手的坐标集，x1为所述机械手在所述机械手坐标系的x轴坐标，y1为所述机械手在所述机械手坐标系的y轴坐标，u1为所述机械手与所述机械手坐标系中x轴形成的角度。然后，每次移动所述机械手时还移动所述第一产品，同时记录所述机械手的第一目标操作点的坐标信息，从而形成所述第一目标操作点的坐标集，所述第一目标操作点的坐标集如下：
r2＝{x2,y2,u2} 公式(2)；
其中，r2为所述第一目标操作点的坐标集，x2为所述第一目标操作点在所述第一双相机坐标系的x轴坐标，y2为所述第一目标操作点在所述第一双相机坐标系的y轴坐标,u2为所述第一角点和所述第二角点形成的直线与所述第一双相机坐标系的x轴形成的角度u2，可以根据图2所示的所述第一产品的所述第一角点C1的坐标信息和所述第二角点C2的坐标信息确定u2。
最后，根据所述机械手的初始位置的坐标集和所述第一目标操作点的坐标集可以确定所述第一转换矩阵，公式如下：
r2＝M1*r1 公式(3)；
其中，M1为所述第一转换矩阵。
具体的，求得所述第一转换矩阵后，可任意设定所述第一目标操作点，所述第一运动坐标获取模块233根据所述第一转换矩阵可以得出所述第一目标操作点在所述机械手坐标系中对应的第一运动坐标。在求出所述第一运动坐标后，所述机械手控制单元25控制所述机械手根据所述第一运动坐标执行所述第一产品的抓取操作。
具体的，在所述机械手抓取所述第一产品后，所述机械手还要执行所述第一产品与所述第二产品的粘合操作，此时，参见图11，所述第二运动坐标获取单元24包括：
第二目标操作点获取模块241，用于获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
第二转换矩阵获取模块242，用于获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
第二运动坐标获取模块243，用于通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
具体求解所述第二转换矩阵和所述第二运动坐标的过程参考上述第一运动坐标获取模块23的过程，在此不再赘述。需要说明的是，在求所述第二转换矩阵的过程中，所述第二目标操作点为所述机械手将所述第一产品与所述第二产品进行粘合操作的粘合点，所述第二目标操作点与所述第一目标操作点相同。在求出所述第二运动坐标后，所述机械手控制单元25控制所述机械手根据所述第二运动坐标执行所述第一产品和所述第二产品的粘合操作。
优选的，所述粘合系统20还包括姿态矫正单元26，经过姿态矫正能够消除所述第一相机、所述第二相机、所述第三相机和所述第四相机拍摄的图像的畸变影响，且能够使所述第一相机、所述第二相机、所述第三相机和所述第四相机拍摄的图像的精度不受限于相机的安装位置。
所述姿态矫正单元26用于根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；所述姿态矫正单元26还用于根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
进一步的，参见图5，具体的，左边的相机即为未进行姿态矫正前的第一相机的示意图，经过姿态矫正后的所述第一相机的示意图如右侧相机所示。优选的，所述第二相机、所述第三相机和所述第四相机的矫正过程示意图与所述第一相机的矫正过程示意图相同，在此不再赘述。
优选的，所述第一产品和所述第二产品可以是平面产品或者是立体产品。在本实施例中所述第一产品和所述第二产品最优选的方案是规则的平面产品，例如双胶纸，但在其他实施例中，所述第一产品和所述第二产品也可以立体产品，都在本发明的保护范围内。
具体实施时，首先通过产品图像获取单元21获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系，从而通过双相机空间模型单元22建立入料位双相机空间模型并通过第一运动坐标获取单元23得到机械手的第一运动坐标，然后通过产品图像获取单元21获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立坐标系，从而通过双相机空间模型单元22建立粘合位双相机空间模型并通过第二运动坐标获取单元24得到机械手的第二运动坐标，最后通过机械手控制单元25控制机械手根据第一运动坐标执行第一产品的抓取操作，并通过机械手控制单元25控制机械手根据第二运动坐标执行第一产品与第二产品的粘合操作。
本发明实施例公开的粘合系统20解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
实施例三
参见图12，图12是本发明实施例三提供的一种粘合设备30的结构示意图；该实施例的粘合设备30包括：处理器31、存储器32以及存储在所述存储器中并可在所述处理器31上运行的计算机程序。所述处理器31执行所述计算机程序时实现上述各个粘合方法实施例中的步骤，例如图1所示的步骤S1～S5。或者，所述处理器31执行所述计算机程序时实现上述粘合系统实施例中各单元的功能，例如所述产品图像获取单元21的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器31执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述粘合设备30中的执行过程。例如，所述计算机程序可以被分割成产品图像获取单元21、双相机空间模型单元22、第一运动坐标获取单元23、第二运动坐标获取单元24和机械手控制单元25，各单元的具体功能参考上述实施例中粘合系统20中各个单元的功能，在此不再赘述。
所述粘合设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述粘合设备30可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，所述示意图仅仅是粘合设备30的示例，并不构成对粘合设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述粘合设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器31是所述粘合设备30的控制中心，利用各种接口和线路连接整粘合设备30的各个部分。
所述存储器32可用于存储所述计算机程序和/或模块，所述处理器31通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述粘合设备30的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述粘合设备30集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器31执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
实施例四
参见图13，图13是本发明实施例三提供的一种粘合装置的结构示意图；包括上述实施例三所述的粘合设备，还包括：第一相机1、第二相机2、第三相机9、第四相机10、第一相机架3、第二相机架11、第一流水线工作台5、第二流水线工作台15和机械手7；其中，
所述第一相机1和所述第二相机2设于所述第一相机架3上；其中，所述第一相机1和所述第二相机2的安装位置在水平方向上相等，且所述第一相机1和所述第二相机2的离地面的高度均高于所述第一流水线工作台5离地面的高度；
所述第三相机9和所述第四相机10设于所述第二相机架11上；其中，所述第三相机9和所述第四相机10的安装位置在水平方向上相等，且所述第三相机9和所述第四相机10的离地面的高度均高于所述第二流水线工作台15离地面的高度；
所述第一流水线工作台5用于放置第一产品6；
所述第二流水线工作台15用于放置第二产品13。
具体的，所述第一相机1和所述第二相机2均设于所述第一流水线工作台5的上方，所述机械手7设于所述第一流水线工作台5的一侧，所述第三相机9和所述第四相机10均设于所述第一流水线工作台5的上方，所述机械手7设于所述第一流水线工作台5的一侧，所述机械手7可以设于所述第一流水线工作台5和所述第二流水线工作台15之间，所述机械手7通过自身旋转抓取在所述第一流水线工作台5的第一产品6并将所述第一产品6粘合到在所述第二流水线工作台15的第二产品13上。
优选的，所述第一相机1和所述第二相机2也可以均设置在所述第一流水线工作台5的同一侧，所述第三相机9和所述第四相机10也可以均设置在所述第二流水线工作台15的同一侧，所述机械手7通过自身旋转抓取在所述第一流水线工作台5的第一产品6并将所述第一产品6粘合到在所述第二流水线工作台15的第二产品13上。
首先，通过所述粘合设备20矫正所述第一相机1、所述第二相机2、所述第三相机9和所述第四相机10的空间姿态，具体的姿态矫正过程参考上述实施例一中步骤S101的过程，在此不再赘述。经过姿态矫正后使所述第一相机1、所述第二相机2、所述第三相机9和所述第四相机10均保持垂直向下的姿态。能够消除所述第一相机1、所述第二相机2、所述第三相机9和所述第四相机10拍摄的图像的畸变影响，且能够使拍摄的图像的精度不受限于自身安装的位置。
所述第一流水线工作台5和所述第二流水线工作台15开始工作，其中，所述第一流水线工作台5上放置有第一产品6，所述第二流水线工作台15上放置有第二产品13。具体的，在所述第一流水线工作台5上的所述第一产品6运行到一个预定范围内的位置时，所述第一相机1和所述第二相机2分别拍摄所述第一产品6的图像，并建立所述第一产品6的图像的入料位双相机空间模型。同时，在所述第二流水线工作台15上的所述第二产品13运行到一个预定范围内的位置时，所述第三相机9和所述第四相机10分别拍摄所述第二产品13的图像，并建立所述第二产品13的图像的粘合位双相机空间模型。
首先确定所述机械手7的初始位置，同时确定所述机械手7的初始位置在所述第一产品6的图像中的第一目标操作点，通过所述入料位双相机空间模型预先计算所述第一转换矩阵，然后根据所述第一转换矩阵求得所述机械手7的第一运动坐标，具体的求所述第一转换矩阵和所述第一运动坐标的工作过程参考上述实施例一中步骤S4的过程，在此不再赘述。此时，所述机械手7根据所述第一运动坐标执行所述第一产品6的抓取操作。
通过所述粘合位双相机空间模型计算所述第二转换矩阵换和所述机械手7的第二运动坐标，具体的求所述第二转换矩阵和所述第二运动坐标的工作过程参考上述实施例一中步骤S4的过程，在此不再赘述。此时，所述机械手7根据所述第二运动坐标执行所述第一产品6和所述第二产品13的粘合操作。
优选的，所述机械手7可以包括执行机构、驱动机构和控制系统；图13中所示为所述机械手7的执行机构，其中，所述机械手7的执行机构可以包括手部、手肘和手臂；手部安装在手臂的前端。本实施优选采用图13所示的没有手指的手部，手部设有至少一个吸盘，吸盘可以为真空吸盘或磁性吸盘。优选的，所述机械手7的手部上设有16个吸盘，所述吸盘用于抓取所述第一产品6。具体的，所述吸盘能够在抓取所述第一产品6时更加稳固，能够有效防止所述第一产品6在与所述第二产品13粘合时掉落。
优选的，所述粘合装置30还包括第一光源4，所述第一光源4设于所述第一相机架3上，所述第一光源4设于所述第一相机1和所述第二相机2的正下方。具体的，所述第一光源4能够为所述第一相机1和所述第二相机2提高拍摄的亮度，能够避免因光线过低而导致所述第一相机1和所述相机2拍摄的所述第一产品6的图像过暗，从而影响计算所述机械手7的第一运动坐标，优选的，所述第一光源4也可以设置在所述第一相机架3以外的地方，只要能确保所述第一相机1和所述第二相机2成像足够清晰。
优选的，所述粘合装置30还包括第二光源12，所述第二光源12设于所述第二相机架11上，所述第二光源12设于所述第三相机9和所述第四相机10的正下方。具体的，所述第二光源12能够为所述第三相机9和所述第四相机10提高拍摄的亮度，能够避免因光线过低而导致所述第三相机9和所述第四相机10拍摄的所述第二产品13的图像过暗，从而影响计算所述机械手7的第二运动坐标，优选的，所述第二光源12也可以设置在所述第二相机架11以外的地方，只要能确保所述第三相机9和所述第四相机10成像足够清晰。
优选的，所述粘合装置30还包括第一传感器8和第二传感器14，所述第一传感器8用于判断所述第一产品6是否在所述第一相机1和所述第二相机2的视野内，当所述第一产品6在所述第一相机1和所述第二相机2的视野内时，所述第一流水线工作台5暂停，等待所述机械手7抓取所述第一产品6。所述第二传感器14用于判断所述第二产品13是否在所述第三相机9和所述第四相机10的视野内，当所述第二产品13在所述第三相机9和所述第四相机10的视野内时，所述第二流水线工作台15暂停，等待所述机械手7将所述第一产品6粘在所述第二产品13上。
优选的，所述第一产品6和所述第二产品13可以是平面产品或者是立体产品。优选的，在本实施例中所述第一产品6和所述第二产品13最优选的方案是规则的平面产品，例如双胶纸，但在其他实施例中，所述第一产品6和所述第二产品13也可以立体产品，都在本发明的保护范围内。
具体实施时，通过第一相机1和所述第二相机2分别获取第一产品6的图像，从而建立入料位双相机空间模型并得到机械手7的第一运动坐标，再通过第三相机9和第四相机10分别获取第二产品13的图像，从而建立粘合位双相机空间模型并得到机械手7的第二运动坐标，进而控制机械手7根据第一运动坐标执行第一产品6的抓取操作，并控制机械手7根据第二运动坐标执行所述第一产品6与第二产品13的粘合操作。
本发明实施例公开的粘合装置解决了现有技术中人工手动粘合制品的效率低和失误率高的问题，能够实现产品的自动粘合且精确度高。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种粘合方法，其特征在于，包括：
获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平；
获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第三相机和所述第四相机的拍摄高度齐平；
根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型，并根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
根据所述入料位双相机空间模型计算所述机械手的第一运动坐标，并根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作；
根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标，并根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
2.如权利要求1所述的粘合方法，其特征在于，所述根据所述入料位双相机空间模型计算所述机械手的第一运动坐标具体包括：
获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
3.如权利要求1所述的粘合方法，其特征在于，所述根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标具体包括:
获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
4.如权利要求1所述的粘合方法，其特征在于，所述获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系前，还包括：
根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；
根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
5.一种粘合系统，其特征在于，包括：
产品图像获取单元，用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系，还用于获取第三相机和第四相机分别拍摄的第二产品的图像并分别建立第二产品的图像的坐标系；其中，所述第一相机和所述第二相机的拍摄高度齐平，所述第三相机和所述第四相机的拍摄高度齐平；
双相机空间模型单元，用于根据所述第一产品的图像的坐标系建立所述第一相机和所述第二相机的入料位双相机空间模型；还用于根据所述第二产品的图像的坐标系建立所述第三相机和所述第四相机的粘合位双相机空间模型；
第一运动坐标获取单元，用于根据所述入料位双相机空间模型计算所述机械手的第一运动坐标；
第二运动坐标获取单元，用于根据所述粘合位双相机空间模型计算所述机械手的第二运动坐标；
机械手控制单元，用于根据所述第一运动坐标控制机械手执行所述第一产品的抓取操作，还用于根据所述第二运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
6.如权利要求5所述的粘合系统，其特征在于，所述第一运动坐标获取单元包括：
第一目标操作点获取模块，用于获取所述第一产品的图像中基于所述入料位双相机空间模型的机械手的第一目标操作点；
第一转换矩阵获取模块，用于获取所述入料位双相机空间模型与预先建立的机械手坐标系的第一转换矩阵；
第一运动坐标获取模块，用于通过所述第一转换矩阵计算所述机械手的第一目标操作点在所述机械手坐标系中对应的第一运动坐标。
7.如权利要求5所述的粘合系统，其特征在于，所述第二运动坐标获取单元包括：
第二目标操作点获取模块，用于获取所述第二产品的图像中基于所述粘合位双相机空间模型的机械手的第二目标操作点；
第二转换矩阵获取模块，用于获取所述粘合位双相机空间模型与预先建立的所述机械手坐标系的第二转换矩阵；
第二运动坐标获取模块，用于通过所述第二转换矩阵计算所述机械手的第二目标操作点在所述机械手坐标系中对应的第二运动坐标。
8.如权利要求5所述的粘合系统，其特征在于，所述粘合系统还包括姿态矫正单元；
所述姿态矫正单元用于根据张正友相机标定法分别矫正第一相机、第二相机、第三相机和第四相机的相机畸变；还用于根据棋盘格信息分别矫正所述第一相机、所述第二相机、所述第三相机和所述第四相机的空间姿态，以使所述第一相机、所述第二相机、所述第三相机和所述第四相机均保持垂直向下的姿态。
9.一种粘合设备，包括处理器、存储器和存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的粘合方法。
10.一种粘合装置，其特征在于，包括权利要求9所述的粘合设备，还包括：第一相机、第二相机、第三相机、第四相机、第一相机架、第二相机架、第一流水线工作台、第二流水线工作台和机械手；其中，
所述第一相机和所述第二相机设于所述第一相机架上；其中，所述第一相机和所述第二相机的安装位置在水平方向上相等，且所述第一相机和所述第二相机的离地面的高度均高于所述第一流水线工作台离地面的高度；
所述第三相机和所述第四相机设于所述第二相机架上；其中，所述第三相机和所述第四相机的安装位置在水平方向上相等，且所述第三相机和所述第四相机的离地面的高度均高于所述第二流水线工作台离地面的高度；
所述第一流水线工作台用于放置第一产品；
所述第二流水线工作台用于放置第二产品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810171078.8A CN108520538B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810171078.8A CN108520538B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108520538A true CN108520538A (zh) | 2018-09-11 |
| CN108520538B CN108520538B (zh) | 2020-10-16 |
Family
ID=63433366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810171078.8A Active CN108520538B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520538B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723697A (zh) * | 2022-03-29 | 2022-07-08 | 牧原肉食品有限公司 | 一种用于自动调整猪蹄姿态的系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203171218U (zh) * | 2013-03-11 | 2013-09-04 | 宁波普利达智能科技应用有限公司 | 一种自动对位贴合系统 |
| CN103917055A (zh) * | 2014-03-31 | 2014-07-09 | 广州超音速自动化科技有限公司 | 基于机器视觉的触摸板贴合对位系统 |
| CN104859888A (zh) * | 2014-02-25 | 2015-08-26 | 厦门坚端精密机械有限公司 | 一种视觉对位平台 |
| CN105015133A (zh) * | 2015-07-07 | 2015-11-04 | 厦门骥发自动化设备有限公司 | 一种触摸屏滚轮全贴合设备 |
| CN107424148A (zh) * | 2017-06-27 | 2017-12-01 | 深圳市博视科技有限公司 | 产品视觉自动对位方法 |
-
2018
- 2018-03-01 CN CN201810171078.8A patent/CN108520538B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203171218U (zh) * | 2013-03-11 | 2013-09-04 | 宁波普利达智能科技应用有限公司 | 一种自动对位贴合系统 |
| CN104859888A (zh) * | 2014-02-25 | 2015-08-26 | 厦门坚端精密机械有限公司 | 一种视觉对位平台 |
| CN103917055A (zh) * | 2014-03-31 | 2014-07-09 | 广州超音速自动化科技有限公司 | 基于机器视觉的触摸板贴合对位系统 |
| CN105015133A (zh) * | 2015-07-07 | 2015-11-04 | 厦门骥发自动化设备有限公司 | 一种触摸屏滚轮全贴合设备 |
| CN107424148A (zh) * | 2017-06-27 | 2017-12-01 | 深圳市博视科技有限公司 | 产品视觉自动对位方法 |
Non-Patent Citations (3)
| Title |
|---|
| 万卫兵等: "《智能视频控制中目标检测与识别》", 31 January 2010 * |
| 刘念: "《基于视觉机器人的目标定位技术研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 郑云龙: "《基于机器视觉的天地盖包装盒定位贴合系统开发》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723697A (zh) * | 2022-03-29 | 2022-07-08 | 牧原肉食品有限公司 | 一种用于自动调整猪蹄姿态的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108520538B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102661635B1 (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
| JP6770605B2 (ja) | 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム | |
| CN104006825B (zh) | 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法 | |
| CN110163912B (zh) | 二维码位姿标定方法、装置及系统 | |
| CN108100353B (zh) | 一种膜片定位贴合方法及装置 | |
| US20150202776A1 (en) | Data generation device for vision sensor and detection simulation system | |
| CN109559341B (zh) | 一种机械臂抓取方案的生成方法及装置 | |
| WO2016042926A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN107452028B (zh) | 一种确定目标图像位置信息的方法及装置 | |
| CN108202328B (zh) | 机器人自适应取放物体的方法、装置、机械臂及存储介质 | |
| CN108115688A (zh) | 一种机械臂的抓取控制方法、系统及机械臂 | |
| US20220414910A1 (en) | Scene contour recognition method and apparatus, computer-readable medium, and electronic device | |
| CN110539299B (zh) | 机器手作业方法、控制器以及机器手系统 | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| CN108844462A (zh) | 一种尺寸检测方法、装置、设备和系统 | |
| CN112657176A (zh) | 一种结合人像行为信息的双目投影人机交互方法 | |
| CN109636849A (zh) | 一种工件定位方法、装置、计算机及计算机可读存储介质 | |
| CN108520538A (zh) | 一种粘合方法、系统、设备和装置 | |
| CN103399652B (zh) | 一种基于OpenCV摄像头标定的3D输入方法 | |
| CN108447069A (zh) | 一种粘合方法、系统、设备和装置 | |
| US11176636B2 (en) | Method of plane tracking | |
| CN211577600U (zh) | 取纸系统 | |
| CN115937321B (zh) | 一种电子设备的姿态检测方法和装置 | |
| KR102603819B1 (ko) | 골프공 착지형 검출방법, 시스템 및 저장매체 | |
| CN110532840A (zh) | 一种方形物体的形变识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |