CN108447069A - 一种粘合方法、系统、设备和装置 - Google Patents
一种粘合方法、系统、设备和装置 Download PDFInfo
- Publication number
- CN108447069A CN108447069A CN201810171004.4A CN201810171004A CN108447069A CN 108447069 A CN108447069 A CN 108447069A CN 201810171004 A CN201810171004 A CN 201810171004A CN 108447069 A CN108447069 A CN 108447069A
- Authority
- CN
- China
- Prior art keywords
- product
- camera
- manipulator
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000000853 adhesive Substances 0.000 claims description 10
- 230000001070 adhesive effect Effects 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 239000000047 product Substances 0.000 description 287
- 230000036544 posture Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000020061 kirsch Nutrition 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种粘合方法,包括:获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立第一产品的图像的坐标系;获取第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息;根据第一角点的坐标信息以及第二角点的坐标信息建立双相机空间模型;获取第一产品的图像中基于双相机空间模型的机械手的目标操作点;获取双相机空间模型与预先建立的机械手坐标系的转换矩阵;通过转换矩阵计算机械手的目标操作点在机械手坐标系中对应的机械手运动坐标,并根据机械手运动坐标控制机械手执行第一产品与第二产品的粘合操作。本发明还公开了一种粘合系统、一种粘合设备和一种粘合装置。采用本发明的实施例,能够实现产品的自动粘合且精确度高。
Description
技术领域
本发明涉及制造行业产品粘合领域,尤其涉及一种粘合方法、系统、设备和装置。
背景技术
平面类产品粘合是多层制品制造的一个关键阶段,在制作多层制品时,需要将平面类产品依次粘贴,并且在粘贴过程中需要严格控制粘合操作,从而保证每一层的平面类产品一一对齐,比如双胶纸的粘合,在进行粘合操作时每一层的双胶纸的边都是对应的。而对于高端制品,粘合标准要求更高。但是常用的粘合方法仍然采用人工手动操作的方式,人工手动粘合制品的效率比较低,再加上需要大量的人力去反复进行粘合操作,失误率也比较高,一旦失误则容易造成资源的浪费。
发明内容
本发明实施例的目的是提供一种粘合方法、系统、设备和装置,能够实现产品的自动粘合且精确度高。
为实现上述目的,本发明实施例提供一种粘合方法,包括:
获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
与现有技术相比,本发明实施例公开的粘合方法通过获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系,从而在第一产品的图像中通过第一角点和第二角点的坐标信息建立双相机空间模型并得到机械手的目标操作点,进而得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手的目标操作点对应的机械手运动坐标,并控制机械手根据机械手运动坐标执行所述第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
作为上述方案的改进,所述获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点具体包括:
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则所述通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作具体包括:
通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
作为上述方案的改进,所述获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系前还包括:
根据张正友相机标定法分别矫正第一相机的相机畸变和第二相机的相机畸变;
根据棋盘格信息矫正所述第一相机的空间姿态和所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
作为上述方案的改进,所述获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点具体包括:
抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
作为上述方案的改进,所述抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的边缘具体包括:
利用抑制梯度方向的Canny算子抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘。
为实现上述目的,本发明实施例还提供一种粘合系统,包括:
产品图像获取单元,用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
角点获取单元,用于获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
双相机空间模型获取单元,用于根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
机械手目标操作点获取单元,用于获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
转换矩阵获取单元,用于获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
机械手控制单元,用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
与现有技术相比,本发明实施例公开的粘合系统首先通过产品图像获取单元获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系,从而在第一产品的图像中通过角点获取单元获取第一角点和第二角点的坐标信息再通过双相机空间模型获取单元建立双相机空间模型并得到机械手的目标操作点,然后通过转换矩阵获取单元得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手的目标操作点对应的机械手运动坐标,进而通过机械手控制单元控制机械手根据机械手运动坐标执行所述第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
作为上述方案的改进,所述机械手目标操作点获取单元具体用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;还用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则所述机械手控制单元具体用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
作为上述方案的改进,所述平面粘合系统还包括空间姿态矫正单元,所述空间姿态矫正单元用于根据张正友相机标定法分别矫正第一相机的相机畸变以及第二相机的相机畸变;还用于根据棋盘格信息矫正所述第一相机的空间姿态以及所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
作为上述方案的改进,所述角点获取单元包括Canny算子模块、Hough直线检测模块以及亚像素角点优化模块;其中,
所述Canny算子模块用于抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
所述Hough直线检测模块用于分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
所述亚像素角点优化模块用于根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
为实现上述目的,本发明实施例还提供一种粘合设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述发明实施例所述的粘合方法。
为实现上述目的,本发明实施例还提供一种粘合装置,包括上述实施例所述的粘合设备,还包括:第一相机、第二相机、相机架、第一流水线工作台、第二流水线工作台和机械手;其中,
所述第一相机以及所述第二相机设于所述相机架上;其中,所述第一相机以及所述第二相机的安装位置在水平方向上相等,且所述第一相机以及所述第二相机的离地面的高度均高于所述第一流水线工作台离地面的高度;
所述第一流水线工作台用于放置第一产品;
所述第二流水线工作台用于放置第二产品。
与现有技术相比,本发明实施例公开的粘合装置通过第一相机和所述第二相机分别获取第一产品的图像,从而通过在第一产品的图像中通过第一角点和第二角点的坐标信息建立双相机空间模型并得到机械手的目标操作点,进而得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手的目标操作点对应的机械手运动坐标,进而通过机械手根据机械手运动坐标执行所述第一产品与第二产品的粘合操作。解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
附图说明
图1是本发明实施例一提供的一种粘合方法的流程图;
图2是本发明实施例一提供的一种粘合方法中双相机空间模型的示意图;
图3是本发明实施例一提供的一种粘合方法中双相机空间模型中中心点的示意图;
图4是本发明实施例一提供的一种粘合方法中第一相机的姿态矫正的示意图;
图5是本发明实施例一提供的一种粘合方法中步骤S12的流程图;
图6是本发明实施例一提供的一种粘合方法中第一产品在第一流水线工作台上的位置示意图;
图7是本发明实施例一提供的一种粘合方法中第一产品的图像的水平方向梯度抑制Canny边缘图;
图8是本发明实施例一提供的一种粘合方法中第一产品的图像的垂直方向梯度抑制Canny边缘图;
图9是本发明实施例一提供的一种粘合方法中通过亚像素角点优化算子提取角点的示意图;
图10是本发明实施例二提供的一种粘合系统的结构示意图;
图11是本发明实施例二提供的一种粘合系统中角点获取单元的结构示意图;
图12是本发明实施例三提供的一种粘合设备的结构示意图;
图13是本发明实施例四提供的一种粘合装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见图1,图1是本发明实施例一提供的一种粘合方法的流程图;包括:
S11、获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
S12、获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
S13、根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
S14、获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
S15、获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
S16、通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
其中,所述机械手是一种能模仿人手和臂的某些动作功能,用以按固定程序抓取、搬运物件或操作工具的自动操作装置。
其中,步骤S14具体包括:
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则步骤S16具体包括:
通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
具体的,在步骤S11中,将所述第一相机和所述第二相机等高安装,以使所述第一相机的拍摄高度和所述第二相机的拍摄高度齐平。此时,安装好所述第一相机和所述第二相机时,通过获取第一相机拍摄的第一产品的图像并建立第一坐标系,再通过获取第二相机拍摄的第一产品的图像并建立第二坐标系,优选的,所述第一产品可以放置在第一流水线工作台上。
具体的,在步骤S12中,通过在所述第一相机拍摄的第一产品的图像上建立所述第一坐标系,从而获取所述第一相机拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。再通过在所述第二相机拍摄的第一产品的图像上建立所述第二坐标系,从而获取所述第二相机拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。优选的,所述第一角点和所述第二角点是所述第一产品的两个顶点。
具体的,在步骤S13中,根据在所述第一产品中所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型。所述双相机空间模型如图2所示,因为所述第一相机1和所述第二相机2安装时在水平方向上存在位置差异,因此在所述第一相机1视野下的第一产品62的第一角点为C13,第二角点为C23;在所述第二相机2视野下的第一产品63的第一角点为C11,第二角点为C21。
具体的,在步骤S14中,通过如图2所示的双相机空间模型,根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品6的图像的中心点C,所述中心点C即为所述机械手的目标操作点;如图2所示,在机械手视野下的第一产品61的第一角点为C12,第二角点为C22。此时,所述第一坐标系和所述第二坐标系仅存在平移向量的差异,所述平移向量包括水平方向增量a与垂直方向增量b。假设所述第一相机1的第一产品62的第一角点C13坐标为(x,y),则所述第二相机2的第一产品63的第一角点C11坐标为(x',y'),则将所述第二相机2的第一角点C11转换为与所述第一相机1同一坐标系下时第一角点C11的坐标为(x'+a,y'+b),其他视野下的所述第一角点和所述第二角点的坐标点以此类推。再通过公式:
L1=L2=L3 公式(1)
L12=(C11-C21)2 公式(2)
L22=(C12-C22)2 公式(3)
L32=(C13-C23)2 公式(4)
其中,L1为从第一角点C11到第二角点C21的直线,L2为从第一角点C12到第二角点C22的直线,L3为从第一角点C13到第二角点C23的直线。由上述公式可求得所述水平方向增量a与所述垂直方向增量b的值,从而通过所述水平方向增量a与所述垂直方向增量b的值求得所述中心点C的坐标,所述中心点C即为机械手的目标操作点。
具体的,如图3所示,当确定所述机械手的目标操作点C的坐标后,所述机械手根据所述机械手的目标操作点所在的位置进行移动,从而使所述机械手在所述第一产品6的图像中的投影点与所述机械手的目标操作点C重合。此时根据所述机械手的目标操作点C的坐标以及所述第一角点C1的坐标信息和所述第二角点C2的坐标信息确定所述第一产品6的图像的旋转角度θ,所述旋转角度θ是所述第一产品6的边缘与所述第一相机1与所述第二相机2所形成的直线的角度差。
具体的,在步骤S15中,通过在所述机械手建立坐标系,再获取所述双相机空间模型与所述机械手的坐标系的转换矩阵M。
具体的,在步骤S16中,假设所述第一产品的图像中的所述机械手的目标操作点C的坐标为C(u,v),那么此时所述机械手与所述机械手的目标操作点C对应的所述机械手运动坐标为(x,y),则根据以下公式:
M=R*λ*T 公式(6)
其中,R为第一产品图像的坐标系与机械手的坐标系之间的旋转差异值,λ为第一产品图像的坐标系与机械手的坐标系之间的尺度差异值,T为第一产品图像的坐标系与机械手的坐标系之间的平移差异值;此时,根据步骤S14中求出的所述机械手的目标操作点C和步骤S15得出的所述转换矩阵M可得知所述机械手运动坐标。此时,所述机械手根据所述机械手运动坐标和所述旋转角度θ执行所述第一产品与第二产品的粘合操作,从而将所述第二产品与所述第一产品重合。优选的,所述机械手预先抓取有所述第二产品,所述第二产品上设有预设点,以使所述机械手每次都能通过所述预设点抓取所述第二产品。
具体实施时,通过获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系,从而在第一产品的图像中通过第一角点和第二角点的坐标信息建立双相机空间模型并得到机械手的目标操作点,进而得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手的目标操作点对应的机械手运动坐标,并控制机械手根据机械手运动坐标执行所述第一产品与第二产品的粘合操作。
本发明实施例公开的粘合方法解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
优选的,基于步骤S11获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系前,本实施例还包括步骤:
S10、根据张正友相机标定法分别矫正第一相机的相机畸变和第二相机的相机畸变;根据棋盘格信息矫正所述第一相机的空间姿态和所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
进一步的,参见图4,图4是本发明实施例一提供的一种粘合方法中第一相机的姿态矫正的示意图;具体的,左边的相机即为未进行姿态矫正前的第一相机1的示意图,经过姿态矫正后的所述第一相机1的示意图如右侧相机所示。优选的,所述第二相机2的矫正过程示意图与所述第一相机1的矫正过程示意图相同,在此不再赘述。经过姿态矫正能够消除所述第一相机和所述第二相机拍摄的图像的畸变影响,且能够使所述第一相机以及所述第二相机拍摄的图像的精度不受限于相机的安装位置。
优选的,参见图5,图5是本发明实施例一提供的一种粘合方法中步骤S12的流程图;步骤S12具体包括:
S121、抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
S122、分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
S123、根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
具体的,在步骤S121中,所述第一产品在流水线工作台上传送时,所述第一产品可能并不是规则放置的,此时所述第一相机与所述第二相机拍摄的所述第一产品的图像中所述第一产品的边缘会指向不同的方向,优选的,可以使用Canny算子来检测所述第一产品的图像的边缘。具体的,所述Canny算子为一个多级边缘检测算法,能够尽可能多地标识出所述第一产品的图像中的实际边缘。所述Canny算子使用4个mask检测水平、垂直以及对角线方向的边缘。所述第一产品的图像与每个mask所作的卷积都存储起来,对于每个点都标识这个点的最大值以及生成的边缘的方向,从而可从所述第一产品的图像中生成每个点的亮度梯度图以及亮度梯度的方向,进而通过提取水平方向与垂直方向均偏差30°内的附近的图像边缘。
如图6所示,图6是本发明实施例一提供的一种粘合方法中第一产品在第一流水线工作台上的位置示意图;通过Canny算子只提取水平方向与垂直方向附近的图像边缘,此时所述第一产品的边缘图的水平方向的示意图如图7所示,所述第一产品的边缘图的垂直方向的示意图如图8所示。在其他实施例中,也可以使用Roberts算子、Sobel算子、Prewitt算子或Kirsch算子来检测所述第一产品的图像中的边缘,都在本发明的保护范围内。本发明使用的Canny算子采用非极大值抑制方法优化边缘,在获取图像梯度方向时限制梯度方向,只提取水平方向与垂直方向附近的图像边缘,能够最大限度地去除背景干扰信息,同时还能提高算法的检测速度,以获取更纯净、干扰更小的边缘信息,同时便于后期的直线检测。
具体的,在步骤S122中,通过Hough(霍夫变换)利用所述第一产品的图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间。具体的,所述Hough(霍夫变换)是一个检测间断点边界形状的方法,它通过将图像坐标空间变换到参数空间,来实现直线与曲线的拟合。再通过在参数空间中分别提取水平与垂直域上的点,因为水平与垂直域上的点对应于Hough域上的点,而Hough域上的点对应于Hough域上的线,所以Hough域上线相交最多的点的位置就是水平与垂直方向域上的直线,此时对参数空间中的离散点进行投票,若投票数超过预设限值,则认为有足够多的图像点位于该参数点所决定的直线上,所述投票数就是在该点相交曲线的个数,此时可得出所述直线的相交点的位置信息。
具体的,在步骤S123中,参见图9,图9是本发明实施例一提供的一种粘合方法中通过亚像素角点优化算子提取角点的示意图;以所述第一角点为例,根据亚像素角点优化算子提取出所述相交点Q,所述相交点Q到周围边缘点P的向量垂直于P处的梯度方向,通过迭代移动所述相交点Q并分别通过迭代算法计算向量QP与P处梯度向量乘积之和D,取梯度向量乘积之和D最小时的位置为相交点Q的精准位置,从而得到所述第一角点的坐标信息。优选的,所述第二角点的坐标信息的求解过程与上述第一角点的坐标信息的求解过程相同。优选的,所述第一角点和所述第二角点为所述第一产品图像中相邻的两个顶点。通过亚像素角点优化算子提取所述第一角点和所述第二角点的位置信息,在图像旋转、灰度、噪声影响和视点变换的条件下,具有计算简单、数据有效和稳定提取角点的特点。
优选的,所述第一产品和所述第二产品可以是平面产品或者是立体产品。在本实施例中所述第一产品和所述第二产品最优选的方案是规则的平面产品,例如双胶纸,但在其他实施例中,所述第一产品和所述第二产品也可以立体产品,都在本发明的保护范围内。
实施例二
参见图10,图10是本发明实施例二提供的一种粘合系统的结构示意图;包括:
产品图像获取单元120,用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
角点获取单元130,用于获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
双相机空间模型获取单元140,用于根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
机械手目标操作点获取单元150,用于获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
转换矩阵获取单元160,用于获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
机械手控制单元170,用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作。
其中,所述机械手是一种能模仿人手和臂的某些动作功能,用以按固定程序抓取、搬运物件或操作工具的自动操作装置。
其中,所述机械手目标操作点获取单元150具体用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;还用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则所述机械手控制单元170具体用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
具体的,将所述第一相机和所述第二相机等高安装,以使所述第一相机的拍摄高度和所述第二相机的拍摄高度齐平。此时,安装好所述第一相机和所述第二相机时,通过所述产品图像获取单元120获取第一相机拍摄的第一产品的图像并建立第一坐标系,再通过所述产品图像获取单元120获取第二相机拍摄的第一产品的图像并建立第二坐标系,优选的,所述第一产品可以放置在第一流水线工作台上。
具体的,通过所述角点获取单元130在所述第一相机拍摄的第一产品的图像上建立所述第一坐标系,从而获取所述第一相机1拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。再通过所述产品图像获取单元120在所述第二相机拍摄的第一产品的图像上建立所述第二坐标系,从而通过所述角点获取单元130获取所述第二相机2拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。优选的,所述第一角点和所述第二角点是所述第一产品的两个顶点。
具体的,根据所述双相机空间模型获取单元140在所述第一产品中所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型。所述双相机空间模型如图2所示,因为所述第一相机1和所述第二相机2安装时在水平方向上存在位置差异,因此在所述第一相机1视野下的第一产品62的第一角点为C13,第二角点为C23;在所述第二相机2视野下的第一产品63的第一角点为C11,第二角点为C21。
具体的,通过如图2所示的双相机空间模型,所述机械手目标操作点获取单元150根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品6的图像的中心点C,所述中心点C即为所述机械手的目标操作点;如图2所示,在机械手视野下的第一产品61的第一角点为C12,第二角点为C22。此时,所述第一坐标系和所述第二坐标系仅存在平移向量的差异,所述平移向量包括水平方向增量a与垂直方向增量b。假设所述第一相机1的第一产品62的第一角点C13坐标为(x,y),则所述第二相机2的第一产品63的第一角点C11坐标为(x',y'),则将所述第二相机2的第一角点C11转换为与所述第一相机1同一坐标系下时第一角点C11的坐标为(x'+a,y'+b),其他视野下的所述第一角点和所述第二角点的坐标点以此类推。再通过公式:
L1=L2=L3 公式(1)
L12=(C11-C21)2 公式(2)
L22=(C12-C22)2 公式(3)
L32=(C13-C23)2 公式(4)
其中,L1为从第一角点C11到第二角点C21的直线,L2为从第一角点C12到第二角点C22的直线,L3为从第一角点C13到第二角点C23的直线。由上述公式可求得所述水平方向增量a与所述垂直方向增量b的值,从而通过所述水平方向增量a与所述垂直方向增量b的值求得所述中心点C的坐标,所述中心点C即为机械手的目标操作点。
具体的,如图3所示,当确定所述机械手的目标操作点C的坐标后,所述机械手根据所述机械手的目标操作点所在的位置进行移动,从而使所述机械手在所述第一产品6的图像中的投影点与所述机械手的目标操作点C重合。此时所述机械手目标操作点获取单元150根据所述机械手的目标操作点C的坐标以及所述第一角点C1的坐标信息和所述第二角点C2的坐标信息确定所述第一产品的图像的旋转角度θ,所述旋转角度θ是所述第一产品6的边缘与所述第一相机1与所述第二相机2所形成的直线的角度差。
具体的,所述转换矩阵获取单元160通过在所述机械手建立坐标系,再获取所述双相机空间模型与所述机械手的坐标系的转换矩阵M。
具体的,假设所述第一产品的图像中的所述机械手的目标操作点C的坐标为C(u,v),那么此时所述机械手与所述机械手的目标操作点C对应的所述机械手运动坐标为(x,y),则根据以下公式:
M=R*λ*T 公式(6)
其中,R为第一产品图像的坐标系与机械手的坐标系之间的旋转差异值,λ为第一产品图像的坐标系与机械手的坐标系之间的尺度差异值,T为第一产品图像的坐标系与机械手的坐标系之间的平移差异值;此时,根据所述机械手目标操作点获取单元150中求出所述机械手的目标操作点C和所述转换矩阵获取单元160得出的所述转换矩阵M可得知所述机械手运动坐标。此时,所述机械手控制单元170控制所述机械手根据所述机械手运动坐标和所述旋转角度θ执行所述第一产品与第二产品的粘合操作。优选的,所述机械手预先抓取有所述第二产品,所述第二产品上设有预设点,以使所述机械手每次都能通过所述预设点抓取所述第二产品。
具体实施时,通过产品图像获取单元120获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立坐标系,从而在第一产品的图像中通过角点获取单元130获取第一角点和第二角点的坐标信息再通过双相机空间模型140获取单元建立双相机空间模型并得到机械手的目标操作点,然后通过转换矩阵获取单元160得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手的目标操作点对应的机械手运动坐标,进而通过机械手控制单元170控制机械手根据机械手运动坐标执行所述第一产品与第二产品的粘合操作,从而将所述第二产品与所述第一产品重合。
本发明实施例公开的粘合系统解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
优选的,所述粘合系统还包括空间姿态矫正单元110,所述空间姿态矫正单元110用于根据张正友相机标定法分别矫正第一相机的相机畸变以及第二相机的相机畸变;还用于根据棋盘格信息矫正所述第一相机的空间姿态以及所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
具体的,参见图4,左边的相机即为未进行姿态矫正前的第一相机1的示意图,经过姿态矫正后的第一相机1的示意图如右侧相机所示。优选的,所述第二相机2的矫正过程示意图与所述第一相机1的矫正过程示意图相同,在此不再赘述。经过姿态矫正能够消除所述第一相机1和所述第二相机2拍摄的图像的畸变影响,且能够使所述第一相机1以及所述第二相机2拍摄的图像的精度不受限于相机的安装位置。
参见图11,图11是本发明实施例二提供的一种粘合系统中角点获取单元130的结构示意图;优选的,所述角点获取单元130包括Canny算子模块131、Hough直线检测模块132以及亚像素角点优化模块133;其中,
所述Canny算子模块131用于抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
所述Hough直线检测模块132用于分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
所述亚像素角点优化模块133用于根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
具体的,所述第一产品在流水线工作台上传送时,所述第一产品可能并不是规则放置的,此时所述第一相机与所述第二相机拍摄的所述第一产品的图像中所述第一产品的边缘会指向不同的方向,优选的,可以通过所述Canny算子模块131来检测所述第一产品的图像的边缘。其中,Canny算子使用4个mask检测水平、垂直以及对角线方向的边缘。所述第一产品的图像与每个mask所作的卷积都存储起来,对于每个点都标识这个点的最大值以及生成的边缘的方向,从而可从所述第一产品的图像中生成每个点的亮度梯度图以及亮度梯度的方向,进而通过所述Canny算子模块131提取水平方向与垂直方向均偏差30°内的附近的图像边缘。
所述第一产品在传送带上的位置关系如图6所示;通过所述Canny算子模块131只提取水平方向与垂直方向附近的图像边缘,此时所述第一产品的边缘图的水平方向的示意图如图7所示,所述第一产品的边缘的图垂直方向的示意图如图8所示。在其他实施例中,也可以使用Roberts算子、Sobel算子、Prewitt算子或Kirsch算子来检测所述第一产品的图像中的边缘,都在本发明的保护范围内。本发明使用的Canny算子采用非极大值抑制方法优化边缘,在获取图像梯度方向时限制梯度方向,只提取水平方向与垂直方向附近的图像边缘,能够最大限度地去除背景干扰信息,同时还能提高算法的检测速度,以获取更纯净、干扰更小的边缘信息,同时便于后期的直线检测。
具体的,所述Hough直线检测模块132通过Hough利用所述第一产品的图像空间和Hough参数空间的点-线对偶性,把图像空间中的检测问题转换到参数空间,再通过在参数空间中分别提取水平与垂直域上的点,因为水平与垂直域上的点对应于Hough域上的点,而Hough域上的点对应于Hough域上的线,所以Hough域上线相交最多的点的位置就是水平与垂直方向域上的直线,此时对参数空间中的离散点进行投票,若投票数超过预设限值,则认为有足够多的图像点位于该参数点所决定的直线上,所述投票数就是在该点相交曲线的个数,此时可得出所述直线的相交点的位置信息。
具体的,参见图9,以所述第一角点为例,所述亚像素角点优化模块133根据亚像素角点优化算子提取出所述相交点Q,所述相交点Q到周围边缘点P的向量垂直于P处的梯度方向,通过迭代移动所述相交点Q并分别通过迭代算法计算向量QP与P处梯度向量乘积之和D,取D最小处的位置为相交点Q的精准位置,从而得到所述第一角点的坐标信息。优选的,所述第二角点的坐标信息的求解过程与上述第一角点的坐标信息的求解过程相同。优选的,所述第一角点和所述第二角点为所述第一产品图像中相邻的两个顶点。通过亚像素角点优化算子提取所述第一角点和所述第二角点的位置信息,在图像旋转、灰度、噪声影响和视点变换的条件下,具有计算简单、数据有效和稳定提取角点的特点。
优选的,所述第一产品和所述第二产品可以是平面产品或者是立体产品。在本实施例中所述第一产品和所述第二产品最优选的方案是规则的平面产品,例如双胶纸,但在其他实施例中,所述第一产品和所述第二产品也可以立体产品,都在本发明的保护范围内。
实施例三
参见图12,图12是本发明实施例三提供的一种粘合设备的结构示意图;该实施例的粘合设备包括:处理器201、存储器202以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器201执行所述计算机程序时实现上述各个粘合方法实施例中的步骤,例如图1所示的步骤S11~S16。或者,所述处理器201执行所述计算机程序时实现上述粘合系统实施例中各单元的功能,例如所述空间姿态矫正单元110的功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器201执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述粘合设备中的执行过程。例如,所述计算机程序可以被分割成空间姿态矫正单元110、产品图像获取单元120、角点获取单元130、双相机空间模型获取单元140、机械手目标操作点获取单元150、转换矩阵获取单元160以及机械手控制单元170,各单元的具体功能参考上述实施例中粘合系统中各个单元的功能,在此不再赘述。
所述粘合设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述粘合设备可包括,但不仅限于,处理器201、存储器202。本领域技术人员可以理解,所述示意图仅仅是粘合设备的示例,并不构成对粘合设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述粘合设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述粘合设备的控制中心,利用各种接口和线路连接整粘合设备的各个部分。
所述存储器202可用于存储所述计算机程序和/或模块,所述处理器201通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述粘合设备的各种功能。所述存储器202可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述粘合设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例四
参见图13,图13是本发明实施例三提供的一种粘合装置的结构示意图;包括上述实施例所述的粘合设备,还包括:第一相机1、第二相机2、相机架4、第一流水线工作台5、第二流水线工作台8和机械手7;其中,
所述第一相机1以及所述第二相机2设于所述相机架4上;其中,所述第一相机1以及所述第二相机2的安装位置在水平方向上相等,且所述第一相机1以及所述第二相机2的离地面的高度均高于所述第一流水线工作台5离地面的高度;
所述第一流水线工作台5用于放置第一产品6;
所述第二流水线工作台8用于放置第二产品9。
具体的,所述第一相机1和所述第二相机2均设于所述第一流水线工作台5一侧,所述机械手7设于所述第一流水线工作台5的另一侧,所述机械手7可以设于所述第一流水线工作台5和所述第二流水线工作台8之间,所述机械手7通过自身旋转将在所述第二流水线工作台8的第二产品9粘合到在所述第一流水线工作台5的第一产品上。
优选的,所述第一相机1、所述第二相机2和所述机械手7也可以均设置在所述第一流水线工作台5的同一侧,所述第一相机1、所述第二相机2和所述机械手7可以均设于所述第一流水线工作台5和所述第二流水线工作台9之间,所述机械手7通过自身旋转将在所述第二流水线工作台8的第二产品9粘合到在所述第一流水线工作台5的第一产品上。
优选的,所述第一流水线工作台5和所述第二流水线工作台8也可以设在同一水平线,此时,所述第一相机1和所述第二相机2均设于所述第一流水线工作台5的任意一侧,所述机械手7设于所述第一流水线工作台5或所述第二流水线工作台8的任意一侧,所述机械手7通过自身旋转或伸缩将在所述第二流水线工作台8的第二产品9粘合到在所述第一流水线工作台5的第一产品上。
首先,通过所述粘合设备矫正所述第一相机1和所述第二相机2的空间姿态,具体的姿态矫正过程参考上述粘合方法实施例中步骤S10的过程,在此不再赘述。经过姿态矫正后使所述第一相机1以及所述第二相机2均保持垂直向下的姿态。能够消除所述第一相机1和所述第二相机2拍摄的图像的畸变影响,且能够使所述第一相机1和所述第二相机2两者所拍摄的图像的精度不受限于自身安装的位置。
所述第一流水线工作台5和所述第二流水线工作台8开始工作,其中,所述第一流水线工作台5上放置有第一产品6,所述第二流水线工作台8上放置有第二产品9;优选的,在具体实施时,所述第一流水线工作台5上也可以同时放置有所述第一产品6和所述第二产品9。优选的,所述第二流水线工作台8的一端设有限位槽10,所述限位槽10用于限制所述第二产品9的放置位置,能够确保所述机械手7每次进行完一次粘合操作后再次抓取所述第二产品9的位置保持不变。
具体的,在所述第一流水线工作台5上的所述第一产品6运行到一个预定范围内的位置时,等待所述第二产品9的粘合,所述第一相机1和所述第二相机2分别拍摄所述第一产品6的图像;通过获取第一相机1拍摄的第一产品6的图像并建立第一坐标系,从而获取所述第一相机1拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。再通过获取第二相机2拍摄的第一产品6的图像并建立第二坐标系,从而获取所述第二相机2拍摄状态下的所述第一角点的坐标信息和第二角点的坐标信息。优选的,所述第一角点和所述第二角点是所述第一产品的两个相邻的顶点。
具体的,如图3所示,根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品6的图像的中心点C,所述中心点C即为所述机械手7的目标操作点,具体的求所述机械手7的目标操作点的过程参考上述粘合方法实施例中步骤S14的过程,在此不再赘述;再根据所述机械手7的目标操作点C的坐标以及所述第一角点C1的坐标信息和所述第二角点C2的坐标信息确定所述第一产品6的图像的旋转角度θ,具体的求所述旋转角度θ的过程参考上述粘合方法实施例中步骤S14的过程,在此不再赘述。具体的,通过在所述机械手7建立坐标系,再获取所述双相机空间模型与所述机械手7的坐标系的转换矩阵。此时,根据所述转换矩阵和所述机械手7的目标操作点C可得知所述机械手运动坐标,具体的求所述机械手运动坐标的过程参考上述粘合方法实施例中步骤S16的过程,在此不再赘述;此时,所述机械手7根据所述机械手运动坐标和所述第一产品6的图像的旋转角度θ执行所述第一产品6与第二产品9的粘合操作,从而将所述第二产品9与所述第一产品6重合。
优选的,所述机械手7预先抓取有所述第二产品9,所述第二产品9上设有预设点,以使所述机械手7每次都能通过所述预设点抓取所述第二产品9。
优选的,所述机械手7可以包括执行机构、驱动机构和控制系统;图13中所示为所述机械手7的执行机构,其中,所述机械手7的执行机构可以包括手部、手肘和手臂;手部安装在手臂的前端。本实施优选采用图13所示的没有手指的手部,手部设有至少一个吸盘11,吸盘11可以为真空吸盘或磁性吸盘。优选的,所述机械手7的手部上设有16个吸盘11,所述吸盘11用于抓取所述第二产品9。具体的,所述吸盘11能够在抓取所述第二产品9时更加稳固,能够有效防止所述第二产品9在与所述第一产品6粘合时掉落。
优选的,所述粘合装置还包括至少一光源3,所述光源3设于相机架4上,所述光源3设于所述第一相机1和所述第二相机2之间。具体的,所述光源3能够为所述第一相机1和所述第二相机2提高拍摄的亮度,能够避免因光线过低而导致所述第一相机1和所述相机2拍摄的所述第一产品6的图像过暗,从而影响计算所述机械手7的目标操作点C和所述旋转角度θ,优选的,所述光源3也可以设置在所述相机架4以外的地方,只要能确保所述第一相机1和所述第二相机2成像足够清晰。
优选的,所述第一产品6和所述第二产品9可以是平面产品或者是立体产品。优选的,在本实施例中所述第一产品6和所述第二产品9最优选的方案是规则的平面产品,例如双胶纸,但在其他实施例中,所述第一产品6和所述第二产品9也可以立体产品,都在本发明的保护范围内。
具体实施时,通过第一相机1和所述第二相机2分别获取第一产品6的图像,从而通过在第一产品6的图像中通过第一角点和第二角点的坐标信息建立双相机空间模型并得到机械手7的目标操作点,进而得到双相机空间模型和机械手坐标系的转换矩阵,再通过转换矩阵计算机械手7的目标操作点对应的机械手运动坐标,进而通过机械手7根据机械手运动坐标执行所述第一产品6与第二产品9的粘合操作。
本发明实施例公开的粘合装置解决了现有技术中人工手动粘合制品的效率低和失误率高的问题,能够实现产品的自动粘合且精确度高。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (11)
1.一种粘合方法,其特征在于,包括:
获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
2.如权利要求1所述的粘合方法,其特征在于,所述获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点具体包括:
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;
根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则所述通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作具体包括:
通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
3.如权利要求1所述的粘合方法,其特征在于,所述获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系前还包括:
根据张正友相机标定法分别矫正第一相机的相机畸变和第二相机的相机畸变;
根据棋盘格信息矫正所述第一相机的空间姿态和所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
4.如权利要求1所述的粘合方法,其特征在于,所述获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点具体包括:
抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
5.如权利要求4所述的粘合方法,其特征在于,所述抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的边缘具体包括:
利用抑制梯度方向的Canny算子抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘。
6.一种粘合系统,其特征在于,包括:
产品图像获取单元,用于获取第一相机和第二相机分别拍摄的第一产品的图像并分别建立每一所述第一产品的图像的坐标系;其中,所述第一相机的拍摄高度与所述第二相机的拍摄高度齐平;
角点获取单元,用于获取每一所述第一产品的图像中的第一角点的坐标信息和第二角点的坐标信息,其中,所述第一角点和所述第二角点为所述第一产品的两个顶点;
双相机空间模型获取单元,用于根据所述第一角点的坐标信息以及所述第二角点的坐标信息建立双相机空间模型;
机械手目标操作点获取单元,用于获取所述第一产品的图像中基于所述双相机空间模型的机械手的目标操作点;
转换矩阵获取单元,用于获取所述双相机空间模型与预先建立的机械手坐标系的转换矩阵;
机械手控制单元,用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
7.如权利要求6所述的粘合系统,其特征在于,所述机械手目标操作点获取单元具体用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的中心点,所述中心点即为所述机械手的目标操作点;还用于根据所述第一角点的坐标信息和所述第二角点的坐标信息确定所述第一产品的图像的旋转角度;
则所述机械手控制单元具体用于通过所述转换矩阵计算所述机械手的目标操作点在所述机械手坐标系中对应的机械手运动坐标,并根据所述机械手运动坐标和所述第一产品的图像的旋转角度控制机械手执行所述第一产品与第二产品的粘合操作;所述机械手预先通过抓取第二产品上的预设点实现抓取所述第二产品。
8.如权利要求6所述的粘合系统,其特征在于,所述粘合系统还包括空间姿态矫正单元,所述空间姿态矫正单元用于根据张正友相机标定法分别矫正第一相机的相机畸变以及第二相机的相机畸变;还用于根据棋盘格信息矫正所述第一相机的空间姿态以及所述第二相机的空间姿态,以使所述第一相机以及所述第二相机均保持垂直向下的姿态。
9.如权利要求6所述的粘合系统,其特征在于,所述角点获取单元包括Canny算子模块、Hough直线检测模块以及亚像素角点优化模块;其中,
所述Canny算子模块用于抑制所述第一产品的图像中的梯度方向信息,只提取水平方向与垂直方向附近的图像边缘;
所述Hough直线检测模块用于分别提取所述第一产品的图像中水平与垂直方向附近Hough域投票数最大的两条直线,并计算所述两条直线的交点;
所述亚像素角点优化模块用于根据亚像素角点优化算子通过迭代算法获取交点的位置,得到第一角点的坐标信息和第二角点的坐标信息;其中,所述第一角点和所述第二角点为所述第一产品的图像中相邻的两个顶点。
10.一种粘合设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的粘合方法。
11.一种粘合装置,其特征在于,包括权利要求10所述的粘合设备,还包括:第一相机、第二相机、相机架、第一流水线工作台、第二流水线工作台和机械手;其中,
所述第一相机以及所述第二相机设于所述相机架上;其中,所述第一相机以及所述第二相机的安装位置在水平方向上相等,且所述第一相机以及所述第二相机的离地面的高度均高于所述第一流水线工作台离地面的高度;
所述第一流水线工作台用于放置第一产品;
所述第二流水线工作台用于放置第二产品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810171004.4A CN108447069B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810171004.4A CN108447069B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108447069A true CN108447069A (zh) | 2018-08-24 |
CN108447069B CN108447069B (zh) | 2020-12-25 |
Family
ID=63193298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810171004.4A Active CN108447069B (zh) | 2018-03-01 | 2018-03-01 | 一种粘合方法、系统、设备和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108447069B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887039A (zh) * | 2019-02-19 | 2019-06-14 | 广州视源电子科技股份有限公司 | 一种图像处理方法、装置、存储介质及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5168141A (en) * | 1991-06-14 | 1992-12-01 | General Electric Company | Vision guided laser welding |
CN103779184A (zh) * | 2012-10-23 | 2014-05-07 | 日东电工株式会社 | 半导体晶圆的贴膜方法和半导体晶圆的贴膜装置 |
CN106780625A (zh) * | 2016-12-19 | 2017-05-31 | 南京天祥智能设备科技有限公司 | 多目相机标定装置 |
US20170160869A1 (en) * | 2014-07-11 | 2017-06-08 | Hewlett-Packard Development Company, L.P. | Corner generation in a projector display area |
-
2018
- 2018-03-01 CN CN201810171004.4A patent/CN108447069B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5168141A (en) * | 1991-06-14 | 1992-12-01 | General Electric Company | Vision guided laser welding |
CN103779184A (zh) * | 2012-10-23 | 2014-05-07 | 日东电工株式会社 | 半导体晶圆的贴膜方法和半导体晶圆的贴膜装置 |
US20170160869A1 (en) * | 2014-07-11 | 2017-06-08 | Hewlett-Packard Development Company, L.P. | Corner generation in a projector display area |
CN106780625A (zh) * | 2016-12-19 | 2017-05-31 | 南京天祥智能设备科技有限公司 | 多目相机标定装置 |
Non-Patent Citations (5)
Title |
---|
A973206267: "基于Opencv的视频直线检测系统的设计", 《HTTPS://WENKU.BAIDU.COM/VIEW/99E1E5463169A4517623A329》 * |
LINGJIE WANG: "An Effective Integration Solution for 100 Gb/s DP-QPSK Coherent Receiver With a Small Skew", 《IEEE PHOTONICS TECHNOLOGY LETTERS》 * |
刘念: "基于视觉机器人的目标定位技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
漓云斋: "Harris角点提取实现亚像素级摄像机自标定", 《HTTP://WWW.360DOC.COM/CONTENT/17/0926/20/1323983_690410915.SHTML》 * |
郑云龙: "基于机器视觉的天地盖包装盒定位贴合系统开发", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887039A (zh) * | 2019-02-19 | 2019-06-14 | 广州视源电子科技股份有限公司 | 一种图像处理方法、装置、存储介质及终端 |
CN109887039B (zh) * | 2019-02-19 | 2023-04-28 | 广州视源电子科技股份有限公司 | 一种图像处理方法、装置、存储介质及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108447069B (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102661635B1 (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
CN109483531B (zh) | 一种用于机械手定点取放fpc板的机器视觉系统及方法 | |
CN110163912B (zh) | 二维码位姿标定方法、装置及系统 | |
US12002240B2 (en) | Vision system for a robotic machine | |
CN114494045B (zh) | 一种基于机器视觉的大型直齿轮几何参数测量系统及方法 | |
CN112967368A (zh) | 基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质 | |
CN108100353B (zh) | 一种膜片定位贴合方法及装置 | |
CN107705304B (zh) | 一种定位方法及装置 | |
JP2017100214A (ja) | マニピュレータシステム、撮像システム、対象物の受け渡し方法、及び、マニピュレータ制御プログラム | |
CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN108924544A (zh) | 摄像头畸变测量方法与测试装置 | |
CN113344769A (zh) | 基于机器视觉的物品3d图像信息获取方法、装置、介质 | |
CN114549599A (zh) | 晶圆快速预对准方法、装置、电子设备及存储介质 | |
CN113129383A (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
CN108447069B (zh) | 一种粘合方法、系统、设备和装置 | |
CN108520538B (zh) | 一种粘合方法、系统、设备和装置 | |
CN111260727A (zh) | 一种基于图像处理的网格定位方法、装置及存储介质 | |
TW202035255A (zh) | 物件運送方法及系統 | |
CN113223029B (zh) | 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质 | |
CN211577600U (zh) | 取纸系统 | |
Xu et al. | Real-time keystone correction for hand-held projectors with an RGBD camera | |
CN114155291A (zh) | 箱体的位姿识别方法及装置、终端、存储介质 | |
CN117086885B (zh) | 机械臂位置的校准方法及装置、存储介质、电子装置 | |
CN117953068A (zh) | 一种机器人相机标定方法、系统、设备及介质 | |
CN117095063A (zh) | 相机参数确定装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |