CN115229804B - 组件贴合方法和装置 - Google Patents
组件贴合方法和装置 Download PDFInfo
- Publication number
- CN115229804B CN115229804B CN202211146872.XA CN202211146872A CN115229804B CN 115229804 B CN115229804 B CN 115229804B CN 202211146872 A CN202211146872 A CN 202211146872A CN 115229804 B CN115229804 B CN 115229804B
- Authority
- CN
- China
- Prior art keywords
- component
- assembled
- position information
- determining
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000006073 displacement reaction Methods 0.000 claims abstract description 55
- 238000010030 laminating Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 description 19
- 238000013519 translation Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000003292 glue Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本申请提供了一种组件贴合方法和装置,能够提高组件之间的组装精度。该方法包括:通过摄像头采集第一待组装组件的多个第一图像;控制机械手臂将第二待组装组件抓起至第一待组装组件上方,通过摄像头采集第二待组装组件的多个第二图像;基于多个第一图像,确定第一待组装组件的第一角度信息和第一位置信息;基于多个第二图像,确定第二待组装组件的第二角度信息和第二位置信息;控制机械手臂将第二待组装组件旋转目标角度,目标角度为第一角度信息和第二角度信息之差;控制机械手臂将第二待组装组件横向和/或纵向平移目标位移,目标位移为第一位置信息和第二位置信息之差;控制机械手臂放下第二待组装组件,完成组件贴合。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种组件贴合方法和装置。
背景技术
当前存在各类消费电子设备,在生产制造的过程中,需要对电子设备的组件进行组装。随着消费者体验需求的提升,越来越多的电子设备在组装时都导入自动化、视觉或替代视觉(如激光探测)方案,实现组件之间的高精度互配组装。组件的组装也可以称为“组件贴合”。
随着各类电子设备的生产质量需求和使用需求的提升,基于现有的设备硬件和软件算法已经很难满足组件之间的高精度组装要求,目前亟需提供一种新的组件贴合方法,以提高组件之间的组装精度。
发明内容
本申请提供了一种组件贴合方法和装置,能够提高组件之间的组装精度。
第一方面,提供了一种组件贴合方法,应用于包括轨道滑台、摄像头和机械手臂的控制设备,该方法包括:通过摄像头采集第一待组装组件的多个第一图像,该第一待组装组件位于该轨道滑台的载台上;控制该机械手臂将第二待组装组件抓起至该第一待组装组件上方,通过摄像头采集该第二待组装组件的多个第二图像;基于该多个第一图像,确定该第一待组装组件的第一角度信息和第一位置信息;基于该多个第二图像,确定该第二待组装组件的第二角度信息和第二位置信息;控制该机械手臂将该第二待组装组件旋转目标角度,该目标角度为该第一角度信息和该第二角度信息之差;控制该机械手臂将该第二待组装组件横向和/或纵向平移目标位移,该目标位移为该第一位置信息和该第二位置信息之差;控制该机械手臂放下该第二待组装组件,使得该第一待组装组件和该第二待组装组件贴合。
本申请实施例的组件贴合方法,通过获取第一待组装组件的多个第一图像,确定第一待组装组件的角度信息和位置信息,获取第二待组装组件的多个第二图像,确定第二待组装组件的角度信息和位置信息,再基于第一待组装组件与第二待组装组件的角度信息之差,以及第一待组装组件与第二待组装组件的位置信息之差,控制第二待组装组件与第一待组装组件进行角度对齐和位置对齐,结合角度信息和位置信息实现组件贴合,这样,能够提高组件之间的组装精度,进而满足各类电子设备的生产质量需求和使用需求。
应理解,上述多个第一图像可以为第一待组装组件的俯视图的各个角落对应的图像,也可以是第一待组装组件上的定位器件的俯视图的各个角落对应的图像,定位器件为第一待组装组件上的预设器件,本申请实施例对此不作限定。
还应理解,组件贴合设备可以在第一待组装组件的各个角落对应第一图像的两个侧边中分别选取一段短边,确定短边在二维坐标系中的位置,进而确定第一待组装组件的第一角度信息和第一位置信息。这里的二维坐标系是预设的参考坐标系,包括两个坐标轴(横轴和纵轴)。
结合第一方面,在第一方面的某些实现方式中,多个第一图像为该第一待组装组件的第一定位器件的图像,该第一定位器件为四边形;基于该多个第一图像,确定该第一待组装组件的第一角度信息,包括:基于该多个第一图像,获取该第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;根据该四个角落对应的侧边中的第一侧边和第二侧边在该二维坐标系下的位置信息,确定第一目标坐标,该第一侧边和该第二侧边相对;根据该四个角落对应的侧边中的第三侧边和第四侧边在该二维坐标系下的位置信息,确定第二目标坐标,该第三侧边和该第四侧边相对,且该第一侧边、该第二侧边、该第三侧边以及该第四侧边分别属于不同角落;根据该第一目标坐标和该第二目标坐标,确定该第一角度信息。
结合第一方面,在第一方面的某些实现方式中,根据该四个角落对应的侧边中的第一侧边和第二侧边在该二维坐标系下的位置信息,确定第一目标坐标,包括:将该第一侧边所包括的多个点在该二维坐标系下的坐标的平均值,确定为第一平均坐标;将该第二侧边所包括的多个点在该二维坐标系下的坐标的平均值,确定为第二平均坐标;将该第一平均坐标和该第二平均坐标的平均值确定为第一目标坐标。
示例性地,组件贴合设备可以将该第一侧边中的一段短边划分成多段,通过采集每段的端点在该二维坐标系下的坐标,确定该第一侧边所包括的多个点的坐标。例如,若该第一侧边的短边被分成9段,则可以得到10个点的坐标。同理,组件贴合设备可以得到该第二侧边所包括的多个点的坐标。
应理解,该第一侧边所包括的点的个数与该第二侧边所包括的点的个数可以相等,也可以不相等,即组件贴合设备将该第一侧边的短边划分的线段数量与组件贴合设备将该第二侧边的短边划分的线段数量可以相等,也可以不相等,例如,组件贴合设备可以将该第一侧边的短边和该第二侧边的短边均划分为9段,也可以将该第一侧边的短边划分为9段,将该第二侧边的短边划分为6段,本申请实施例对此不作限定。
结合第一方面,在第一方面的某些实现方式中,根据该四个角落对应的侧边中的第三侧边和第四侧边在该二维坐标系下的位置信息,确定第二目标坐标,包括:将该第三侧边所包括的多个点在该二维坐标系下的坐标的平均值,确定为第三平均坐标;将该第四侧边所包括的多个点在该二维坐标系下的坐标的平均值,确定为第四平均坐标;将该第三平均坐标和该第四平均坐标的平均值确定为第二目标坐标。
结合第一方面,在第一方面的某些实现方式中,根据该第一目标坐标和该第二目标坐标,确定该第一角度信息,包括:连接该第一目标坐标对应的点和该第二目标坐标对应的点,形成目标线段;将该目标线段与该二维坐标系中的目标坐标轴之间的夹角,确定为第一角度信息。
应理解,上述目标坐标轴可以是该二维坐标系的横轴,也可以是该二维坐标系的纵轴,本申请实施例对此不作限定。
结合第一方面,在第一方面的某些实现方式中,该多个第一图像为该第一待组装组件的第一定位器件的图像,该第一定位器件为四边形;基于该多个第一图像,确定该第一待组装组件的第一位置信息,包括:基于该多个第一图像,获取该第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;根据该第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定第一位置信息。
由于第一定位器件的俯视图是四边形,有四个角落,该四个角落中的每个角落对应有两条侧边,因此,第一定位器件的四个角落对应八条侧边。基于该八条侧边在二维坐标系下的位置坐标,组件贴合设备可以确定第一位置信息。
结合第一方面,在第一方面的某些实现方式中,根据该第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定该第一位置信息,包括:分别计算该四个角落对应的侧边中每个侧边所包括的多个点在该二维坐标系下的坐标的平均值;根据该每个侧边对应的平均值,确定第一位置信息。
示例性地,组件贴合设备可以将每个侧边中的一段短边划分成多段,通过采集每段的端点在二维坐标系下的坐标,确定每个侧边所包括的多个点的坐标。应理解,不同侧边的短边被划分的线段数量可以相等,也可以不相等,本申请实施例对此不作限定。
通过采集每个侧边上多个点的坐标,并计算每个侧边上多个点的坐标的平均值,即可以得到每个侧边在该二维坐标系下的位置坐标。
本申请实施例的组件贴合方法,根据待组装组件各个角落对应的侧边中每个侧边所包括的多个点在二维坐标系下的平均值,确定角度信息和位置信息。在物料存在概率性缺陷和/或存在特殊的结构特征的情况下,本申请实施例的组件贴合方法依然可以准确的确定待组装组件的真实位置,降低了对物料的质量要求,进而降低物料成本和组装成本,从而降低了电子设备的整体生产成本。
结合第一方面,在第一方面的某些实现方式中,在控制该机械手臂将该第二待组装组件旋转目标角度之后,该方法还包括:通过摄像头采集该第二待组装组件的多个第三图像;基于该多个第三图像,确定该第二待组装组件的第三角度信息;判断该第一角度信息和该第三角度信息之差的绝对值是否大于或等于第一预设阈值;控制该机械手臂将该第二待组装组件横向和/或纵向平移目标位移,包括:在该第一角度信息和该第三角度信息之差的绝对值小于该第一预设阈值的情况下,控制该机械手臂将该第二待组装组件横向和/或纵向平移目标位移。
应理解,在第一角度信息和第三角度信息之差的绝对值小于第一预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的角度已对齐,无需对第二待组装组件再进行角度旋转。此时,组件贴合设备可以直接按照第二位置信息和第一位置信息对第二待组装组件进行平移,也可以基于多个第三图像,确定第二待组装组件的新的位置信息,按照新的位置信息和第一位置信息对第二待组装组件进行平移。
在第一角度信息和第三角度信息之差的绝对值大于或等于第一预设阈值的情况下,组件贴合设备可以认为第二待组装组件和第一待组装组件未对齐,控制机械手臂将第二待组装组件继续进行角度旋转,通过摄像头采集旋转后的第二待组装组件的新图像,确定新的角度信息,并确定第一角度信息和新的角度信息之差是否小于第一预设阈值,直到将第二待组装组件与第一待组装组件的角度对齐为止。之后,组件贴合设备可以基于新图像确定第二待组装组件的新的位置信息,按照新的位置信息和第一位置信息对第二待组装组件进行平移。
本申请实施例的组件贴合方法,有利于进一步提高待组装组件的组装精度,以保障待组装组件的组装精度满足生产要求。
结合第一方面,在第一方面的某些实现方式中,在控制该机械手臂将该第二待组装组件横向和/或纵向平移目标位移之后,该方法还包括:通过摄像头采集该第二待组装组件的多个第四图像;基于该多个第四图像,确定该第二待组装组件的第三位置信息;判断该第一位置信息和该第三位置信息之差的绝对值是否大于或等于第二预设阈值;控制该机械手臂放下该第二待组装组件,包括:在该第一位置信息和该第三位置信息之差的绝对值小于该第二预设阈值的情况下,控制该机械手臂放下该第二待组装组件。
应理解,在第一位置信息和第三位置信息之差的绝对值小于第二预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的位置信息已对齐,无需对第二待组装组件再进行平移,接着,组件贴合设备控制机械手臂放下第二待组装组件,即可完成第一待组装组件和第二待组装组件的贴合。
在第一位置信息和第三位置信息之差的绝对值大于或等于第二预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的位置信息未对齐,控制机械手臂将第二待组装组件继续进行位置平移,通过摄像头采集平移后的第二待组装组件的新图像,确定新的位置信息,并确定第一位置信息和新的位置信息之差是否小于第二预设阈值,直到将第二待组装组件与第一待组装组件的位置对齐为止。之后,组件贴合设备控制机械手臂放下第二待组装组件。
本申请实施例的组件贴合方法,有利于进一步提高待组装组件的组装精度,以保障待组装组件的组装精度满足生产要求。
第二方面,提供了一种组件贴合装置,用于执行上述方面中任一种可能的实现方式中的方法。具体地,该组件贴合装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
在一种设计中,该组件贴合装置可以包括执行上述各个方面中所描述的方法/操作/步骤/动作所一一对应的模块,该模块可以是硬件电路,也可以是软件,也可以是硬件电路结合软件实现。
第三方面,提供了另一种组件贴合装置,包括轨道滑台、摄像头、机械手臂和处理器。该处理器用于读取存储器中存储的指令,并可通过接收器接收信号,通过发射器发射信号,以执行上述各个方面中的任一种可能实现方式中的方法。
可选地,处理器为一个或多个,存储器为一个或多个。
可选地,组件贴合装置还可以包括存储器,存储器可以与处理器集成在一起,或者存储器与处理器分离设置。
在具体实现过程中,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,ROM),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令),当其在计算机上运行时,使得计算机执行上述第一方面中的任一种可能实现方式中的方法。
第五方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序(也可以称为代码,或指令),当计算机程序被运行时,使得计算机执行上述第一方面中的任一种可能实现方式中的方法。
附图说明
图1是本申请实施例的组件贴合设备的结构示意图;
图2是本申请实施例的一种组件贴合方法的示意性流程图;
图3是第一定位器件在二维坐标系XOY下的位置示意图;
图4是本申请实施例的另一种组件贴合方法的示意性流程图;
图5是组件1的四个角落的图像在二维坐标系XOY下的位置示意图;
图6是本申请实施例的一种组件贴合装置的示意性框图;
图7是本申请实施例的另一种组件贴合装置的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一芯片和第二芯片仅仅是为了区分不同的芯片,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a--c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
当前存在各类消费电子设备,在生产制造的过程中,需要对电子设备的组件进行组装。随着消费者体验需求的提升,越来越多的电子设备在组装时都导入自动化、视觉或替代视觉(如激光探测)方案,实现组件之间的高精度互配组装。组件的组装也可以称为“组件贴合”。
通常情况下,由组件贴合设备固定一个待组装组件,控制另一个待组装组件移动,调整该另一个待组装组件的位置,从而完成两个待组装组件之间的贴合。为了便于理解本申请,下面先结合图1对本申请实施例的组件贴合设备进行介绍。
图1示出了本申请实施例的组件贴合设备100的结构示意图。如图1所示,组件贴合设备100包括轨道滑台101、第一载台102、摄像头103、机械手臂104、第二载台105和支撑座106。其中,轨道滑台101安装在支撑座106上。第一载台102和第二载台105安装在轨道滑台101上,可以随着轨道滑台101的滑动而移动。第一载台102和第二载台105用于放置待组装组件。摄像头103位于第一载台102的上方,用于获取第一载台102上的待组装组件的图像。机械手臂104安装在支撑座106上,用于抓取第一载台102或第二载台105上的待组装组件,并进行移动,以将待组装组件放置到合适的位置。
示例性地,第一载台102上放置有待组装组件1,第二载台105上放置有待组装组件2,轨道滑台101通过滑动将第一载台102上的待组装组件1运送至摄像头103下方,摄像头103采集待组装组件1的图像,然后,机械手臂104抓取第二载台105上的待组装组件2,将待组装组件2移动至摄像头103下方。由于此时待组装组件2仍被机械手臂104抓取,待组装组件2位于待组装组件1的上方。摄像头103采集待组装组件2的图像。组件贴合设备100可以根据待组装组件1的图像确定待组装组件1的位置信息,根据待组装组件2的图像确定待组装组件2的位置信息,进而基于待组装组件1和待组装组件2之间的相对位置,控制机械手臂104进行移动,将待组装组件2与待组装组件1对齐后放下待组装组件2,完成待组装组件1和待组装组件2的贴合。
应理解,图1仅以示例的方式给出了组件贴合设备的一种可能结构,在其他可能的实现方式中,组件贴合设备100可以包括其他数量的载台和摄像头,本申请实施例对此不做限定。例如,组件贴合设备100可以包括一个摄像头,该摄像头可以获取到待组装组件的整体图像。又例如,组件贴合设备100可以包括四个摄像头,该四个摄像头分散设置,分别对应待组装组件的四个角落,用于获取待组装组件的四个角落的图像。
此外,上述摄像头103可以是具有闪光灯的摄像头,但本申请实施例对此不作限定。组件贴合设备100中还可以包括其它器件,例如,光源,光源可以在黑暗场景下提高环境亮度,以便于提高摄像头采集到的图像的质量,从而提高组件贴合的准确性。
上述结合图1描述的组件贴合过程,采用了视觉对位的方法。视觉对位又称“机器视觉对位”,具体过程为:通过工业镜头(例如上述摄像头103)对待组装组件的特征位置进行拍照取像,采集图像数据进行图像处理,并进行位置运算来判断待组装组件的实际位置,并将待组装组件的实际位置与基准位置进行对比,计算出待组装组件的实际偏移值,通过控制待组装组件移动,使得待组装组件移动到基准位置上。
若采用传统的组件贴合方法,在上述示例中,组件贴合设备100可以基于待组装组件1的图像,确定待组装组件1的4个角落中每个角落对应的图像,在每个角落对应的图像的两个侧边上分别选取一段短边,将每个角落对应的两段短边延长,使延长线形成交点,4个角落形成4个交点,通过各个交点的坐标,组件贴合设备100可以确定待组装组件1的位置信息。同样地,组件贴合设备100可以确定待组装组件2的位置信息,从而根据待组装组件1的位置信息和待组装组件2的位置信息,移动待组装组件2进行贴合。
但是,上述方法已经很难满足组件之间的高精度组装要求。有鉴于此,本申请实施例提出了一种组件贴合方法和装置,通过确定待组装组件的角度信息和位置信息,控制机械手臂对待组装组件进行角度旋转,控制机械手臂将待组装组件横向和/或纵向平移,结合角度信息和位置信息实现组件贴合,能够提高组件之间的组装精度,进而满足各类电子设备的生产质量需求和使用需求。
下面将结合图2至图4,对本申请实施例提供的组件贴合方法进行描述。
图2是本申请实施例提供的一种组件贴合方法200的示意性流程图,该方法200可以由图1所示的组件贴合设备100执行,也可以由其他类似设备执行,本申请实施例对此不作限定。该方法200包括以下步骤:
S201,通过摄像头采集第一待组装组件的多个第一图像。
上述第一待组装组件位于组件贴合设备的轨道滑台的载台上,组件贴合设备通过轨道滑台的滑动将第一待组装组件运送至摄像头下方,以便该摄像头能够采集到第一待组装组件的图像。
应理解,上述多个第一图像可以为第一待组装组件的俯视图的各个角落对应的图像,也可以是第一待组装组件上的定位器件的俯视图的各个角落对应的图像,定位器件为第一待组装组件上的预设器件,本申请实施例对此不作限定。还应理解,第一待组装组件的俯视图或者第一待组装组件上的定位器件的俯视图可以为圆角矩形、长方形、梯形、菱形等,本申请实施例对此也不作限定。
S202,控制机械手臂将第二待组装组件抓起至第一待组装组件上方,通过摄像头采集第二待组装组件的多个第二图像。
第二待组装组件可以位于组件贴合设备的轨道滑台的另一载台上。当需要获取第二待组装组件的图像时,组件贴合设备控制机械手臂抓起该第二待组装组件,并将该第二待组装组件移动至上述第一待组装组件的上方、摄像头的下方,以便该摄像头能够采集到第二待组装组件的图像。
S203,基于多个第一图像,确定第一待组装组件的第一角度信息和第一位置信息。
示例性地,组件贴合设备可以在第一待组装组件的各个角落对应第一图像的两个侧边中分别选取一段短边,确定短边在二维坐标系中的位置,进而确定第一待组装组件的第一角度信息和第一位置信息。应理解,这里的二维坐标系是预设的参考坐标系,包括两个坐标轴(横轴和纵轴)。
S204,基于多个第二图像,确定第二待组装组件的第二角度信息和第二位置信息。
应理解,第二待组装组件的第二角度信息和第二位置信息的确定方法与第一待组装组件的第一角度信息和第一位置信息的确定方法相同,在此不再赘述。
S205,控制机械手臂将第二待组装组件旋转目标角度,该目标角度为第一角度信息和第二角度信息之差。
示例性地,第二待组装组件的第二角度信息减去第一待组装组件的第一角度信息即可以得到目标角度。若目标角度为正数,组件贴合设备可以控制机械手臂基于上述预设的二维坐标系将第二待组装组件顺时针旋转目标角度。若目标角度为负数,组件贴合设备可以控制机械手臂基于上述预设的二维坐标系将第二待组装组件逆时针旋转目标角度的绝对值。
S206,控制机械手臂将第二待组装组件横向和/或纵向平移目标位移,该目标位移为第一位置信息和第二位置信息之差。
示例性地,第一位置信息具体可以为第一待组装组件在预设的二维坐标系中的位置坐标,第二位置信息具体为第二待组装组件在预设的二维坐标系中的位置坐标。第二待组装组件在预设坐标系中的位置坐标减去第一待组装组件在预设坐标系中的位置坐标即可以得到目标位移。由于上述位置坐标是二维坐标系下的,包括横轴坐标和纵轴坐标,目标位移可以包括横轴目标位移和纵轴目标位移。
若上述横轴目标位移和纵轴目标位移均不为零,则第二待组装组件的横向和纵向都需要进行平移。在这种情况下,组件贴合设备可以控制机械手臂将第二待组装组件横向平移横轴目标位移,并且控制机械手臂将第二待组装组件纵向平移纵轴目标位移。
应理解,横向平移和纵向平移的执行没有先后顺序。在一种可能的实现方式中,组件贴合设备可以先控制机械手臂将第二待组装组件横向平移横轴目标位移,再控制机械手臂将第二待组装组件纵向平移纵轴目标位移;在另一种可能的实现方式中,组件贴合设备也可以先控制机械手臂将第二待组装组件纵向平移纵轴目标位移,再控制机械手臂将第二待组装组件横向平移横轴目标位移,本申请实施例对此不作限定。
若上述纵轴目标位移为零,则第二待组装组件只需要进行横向平移。在这种情况下,组件贴合设备可以控制机械手臂将第二待组装组件横向平移横轴目标位移。
若上述横轴目标位移为零,则第二待组装组件只需要进行纵向平移。在这种情况下,组件贴合设备可以控制机械手臂将第二待组装组件纵向平移纵轴目标位移。
上述组件贴合设备控制机械手臂将第二待组装组件横向平移横轴目标位移,可以理解为:若上述横轴目标位移为正数,则组件贴合设备可以控制机械手臂将第二待组装组件沿着平行于横轴的方向,向横轴的负数方向平移横轴目标位移;若横轴目标位移为负数,则组件贴合设备可以控制机械手臂将第二待组装组件沿着平行于横轴的方向,向横轴的正数方向平移横轴目标位移的绝对值。
上述组件贴合设备控制机械手臂将第二待组装组件纵向平移纵轴目标位移,可以理解为:若纵轴目标位移为正数,则组件贴合设备可以控制机械手臂将第二待组装组件沿着平行于纵轴的方向,向纵轴的负数方向平移纵轴目标位移;若纵轴目标位移为负数,则组件贴合设备可以控制机械手臂将第二待组装组件沿着平行于纵轴的方向,向纵轴的正数方向平移纵轴目标位移的绝对值。
S207,控制机械手臂放下第二待组装组件,使得第一待组装组件和第二待组装组件贴合。
本申请实施例的组件贴合方法,通过获取第一待组装组件的多个第一图像,确定第一待组装组件的角度信息和位置信息,获取第二待组装组件的多个第二图像,确定第二待组装组件的角度信息和位置信息,再基于第一待组装组件与第二待组装组件的角度信息之差,以及第一待组装组件与第二待组装组件的位置信息之差,控制第二待组装组件与第一待组装组件进行角度对齐和位置对齐,结合角度信息和位置信息实现组件贴合,这样,能够提高组件之间的组装精度,进而满足各类电子设备的生产质量需求和使用需求。
应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。在上述方法200中,S201的执行在S203之前,S202的执行在S204之前,但S202和S203的执行先后顺序本申请实施例不做限定。在一种可能的实现方式中,组件贴合设备可以先执行S202,再执行S203。在另一种可能的实现方式中,组件贴合设备可以先执行S203,再执行S202。在又一种可能的实现方式中,组件贴合设备可以同时执行S202和S203。同理,S203和S204的执行先后顺序本申请实施例也不做限定。在一种可能的实现方式中,组件贴合设备可以先执行S203,再执行S204。在另一种可能的实现方式中,组件贴合设备可以先执行S204,再执行S203。在又一种可能的实现方式中,组件贴合设备可以同时执行S203和S204。
下面,以上述多个第一图像为第一待组装组件的第一定位器件的图像,第一定位器件的俯视图为四边形为例,对第一角度信息的具体确定方法进行说明。
作为一个可选的实施例,上述基于多个第一图像,确定第一待组装组件的第一角度信息,包括:基于多个第一图像,获取第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;根据四个角落对应的侧边中的第一侧边和第二侧边在上述二维坐标系下的位置信息,确定第一目标坐标,第一侧边和第二侧边相对;根据四个角落对应的侧边中的第三侧边和第四侧边在二维坐标系下的位置信息,确定第二目标坐标,第三侧边和第四侧边相对,且第一侧边、第二侧边、第三侧边以及第四侧边分别属于不同角落;根据第一目标坐标和第二目标坐标,确定第一角度信息。
示例性地,图3为第一定位器件在二维坐标系XOY下的位置示意图,第一定位器件的四个角落对应8条侧边,分别为侧边1、侧边2、侧边3、侧边4、侧边5、侧边6、侧边7和侧边8,其中,侧边1和侧边2对应左上角,侧边3和侧边4对应右上角,侧边5和侧边6对应右下角,侧边7和侧边8对应左下角。如图3所示,侧边1和侧边4相对,侧边8和侧边5相对,在一种可能的实现方式中,组件贴合设备可以根据侧边1和侧边4确定第一目标坐标,根据侧边8和侧边5确定第二目标坐标。侧边2和侧边7相对,侧边3和侧边6相对,在另一种可能的实现方式中,组件贴合设备可以根据侧边2和侧边7确定第一目标坐标,根据侧边3和侧边6确定第二目标坐标。
作为一个可选的实施例,组件贴合设备根据四个角落对应的侧边中的第一侧边和第二侧边在上述二维坐标系下的位置信息,确定第一目标坐标,可以通过以下方式实现:
将第一侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第一平均坐标;将第二侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第二平均坐标;将第一平均坐标和第二平均坐标的平均值确定为第一目标坐标。
示例性地,组件贴合设备可以将第一侧边中的一段短边划分成多段,通过采集每段的端点在二维坐标系下的坐标,确定上述第一侧边所包括的多个点的坐标。例如,若第一侧边的短边被分成9段,则可以得到10个点的坐标。同理,组件贴合设备可以得到第二侧边所包括的多个点的坐标。
应理解,第一侧边所包括的点的个数与第二侧边所包括的点的个数可以相等,也可以不相等,即组件贴合设备将第一侧边的短边划分的线段数量与组件贴合设备将第二侧边的短边划分的线段数量可以相等,也可以不相等,例如,组件贴合设备可以将第一侧边的短边和第二侧边的短边均划分为9段,也可以将第一侧边的短边划分为9段,将第二侧边的短边划分为6段,本申请实施例对此不作限定。
作为一个可选的实施例,组件贴合设备根据四个角落对应的侧边中的第三侧边和第四侧边在上述二维坐标系下的位置信息,确定第二目标坐标,可以通过以下方式实现:
将第三侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第三平均坐标;将第四侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第四平均坐标;将第三平均坐标和第四平均坐标的平均值确定为第二目标坐标。
应理解,组件贴合设备确定第二目标坐标的方法和确定第一目标坐标的方法类似,组件贴合设备确定第三平均坐标、第四平均坐标的方法也与上述组件贴合设备确定第一平均坐标、第二平均坐标的方法类似,在此不在赘述。
作为一个可选的实施例,上述根据第一目标坐标和第二目标坐标,确定第一角度信息,包括:连接第一目标坐标对应的点和第二目标坐标对应的点,形成目标线段;将目标线段与二维坐标系中的目标坐标轴之间的夹角,确定为第一角度信息。
应理解,上述目标坐标轴可以是二维坐标系的横轴,也可以是二维坐标系的纵轴,本申请实施例对此不作限定。在一种可能的实现方式中,目标坐标轴是二维坐标系的横轴,组件贴合设备可以计算目标线段与二维坐标系的横轴之间的夹角,得到上述第一角度信息。在另一种可能的实现方式中,目标坐标轴是二维坐标系的纵轴,组件贴合设备可以计算目标线段与二维坐标系的纵轴之间的夹角,得到上述第一角度信息。
下面,以上述多个第一图像为第一待组装组件的第一定位器件的图像,第一定位器件的俯视图为四边形为例,对第一位置信息的具体确定方法进行说明。
作为一个可选的实施例,上述基于多个第一图像,确定第一待组装组件的第一位置信息,包括:基于多个第一图像,获取第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;根据第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定第一位置信息。
由于第一定位器件的俯视图是四边形,有四个角落,该四个角落中的每个角落对应有两条侧边,因此,第一定位器件的四个角落对应八条侧边。基于该八条侧边在二维坐标系下的位置坐标,组件贴合设备可以确定第一位置信息。
作为一个可选的实施例,上述根据第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定第一位置信息,包括:分别计算四个角落对应的侧边中每个侧边所包括的多个点在二维坐标系下的坐标的平均值;根据每个侧边对应的平均值,确定第一位置信息。
示例性地,组件贴合设备可以将每个侧边中的一段短边划分成多段,通过采集每段的端点在二维坐标系下的坐标,确定每个侧边所包括的多个点的坐标。在图3所示的示例中,若侧边1的短边被分成9段,则可以得到10个点的坐标。应理解,不同侧边的短边被划分的线段数量可以相等,也可以不相等,本申请实施例对此不作限定。
通过采集每个侧边上多个点的坐标,并计算每个侧边上多个点的坐标的平均值,即可以得到每个侧边在二维坐标系下的位置坐标。
在图3所示的示例中,组件贴合设备可以基于侧边1、侧边2、侧边3、侧边4、侧边5、侧边6、侧边7和侧边8在二维坐标系XOY下的位置坐标,确定第一位置信息。在一种可能的实现方式中,组件贴合设备可以将侧边1、侧边4、侧边5和侧边8的横轴(或者纵轴)位置坐标的平均值确定为第一位置信息中的横轴(或者纵轴)坐标,将侧边2、侧边3、侧边6和侧边7的纵轴(或者横轴)位置坐标的平均值确定为第一位置信息中的纵轴(或者横轴)坐标。在另一种可能的实现方式中,组件贴合设备可以将上述8个侧边的横轴位置坐标的平均值确定为第一位置信息中的横轴坐标,将上述8个侧边的纵轴位置坐标的平均值确定为第一位置信息中的纵轴坐标。
应理解,第二待组装组件的第二角度信息的确定方法和第一待组装组件的第一角度信息的确定方法类似,在此不再赘述。第二待组装组件的第二位置信息的确定方法和第一待组装组件的第一位置信息的确定方法类似,在此不再赘述。
以上,介绍了本申请实施例中角度信息和位置信息的确定方法。传统方法并不能准确定义待组装组件的真实位置。一种可能的情况,由于物料的概率性缺陷,视觉打光后,待组装组件的真实边缘可能并没有被打亮,实际的打亮区域的侧边是一条斜边,与同角落的另一个边延伸形成交点,通过延伸反而放大了抓边的位置偏差,进而导致贴合位置出现偏差。另一种可能的情况,部分组件存在特殊的结构特征,例如,无法形成直边、或者形成曲边,导致无法延伸形成交点,组件贴合设备无法确定待组装组件的位置信息,最终导致无法进行组件贴合。因此,基于现有的设备硬件和软件算法,组件之间的高精度组装对待组装的组件的质量要求越来越高,这样会导致物料成本和组装成本较高。
而本申请实施例的组件贴合方法,根据待组装组件各个角落对应的侧边中每个侧边所包括的多个点在二维坐标系下的平均值,确定角度信息和位置信息。在物料存在概率性缺陷和/或存在特殊的结构特征的情况下,本申请实施例的组件贴合方法依然可以准确的确定待组装组件的真实位置,降低了对物料的质量要求,进而降低物料成本和组装成本,从而降低了电子设备的整体生产成本。
作为一个可选的实施例,在组件贴合设备控制机械手臂将第二待组装组件旋转目标角度之后,上述方法还包括:通过摄像头采集第二待组装组件的多个第三图像;基于多个第三图像,确定第二待组装组件的第三角度信息;判断第一角度信息和第三角度信息之差的绝对值是否大于或等于第一预设阈值;上述控制机械手臂将第二待组装组件横向和/或纵向平移目标位移,包括:在第一角度信息和第三角度信息之差的绝对值小于第一预设阈值的情况下,控制机械手臂将第二待组装组件横向和/或纵向平移目标位移。
应理解,在第一角度信息和第三角度信息之差的绝对值小于第一预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的角度已对齐,无需对第二待组装组件再进行角度旋转。此时,组件贴合设备可以直接按照第二位置信息和第一位置信息对第二待组装组件进行平移,也可以基于多个第三图像,确定第二待组装组件的新的位置信息,按照新的位置信息和第一位置信息对第二待组装组件进行平移。
在第一角度信息和第三角度信息之差的绝对值大于或等于第一预设阈值的情况下,组件贴合设备可以认为第二待组装组件和第一待组装组件未对齐,控制机械手臂将第二待组装组件继续进行角度旋转,通过摄像头采集旋转后的第二待组装组件的新图像,确定新的角度信息,并确定第一角度信息和新的角度信息之差是否小于第一预设阈值,直到将第二待组装组件与第一待组装组件的角度对齐为止。之后,组件贴合设备可以基于新图像确定第二待组装组件的新的位置信息,按照新的位置信息和第一位置信息对第二待组装组件进行平移。
在本申请实施例中,组件贴合设备可以在对第二待组装组件进行角度旋转之后,检查第二待组装组件与第一待组装组件的角度是否对齐。如果第二待组装组件与第一待组装组件的角度没有对齐,组件贴合设备可以继续控制机械手臂将第二待组装组件进行角度旋转,通过对第二待组装组件进行多次角度旋转,直到将第二待组装组件与第一待组装组件的角度对齐为止。本申请实施例的组件贴合方法,有利于进一步提高待组装组件的组装精度,以保障待组装组件的组装精度满足生产要求。
作为一个可选的实施例,在组件贴合设备控制机械手臂将第二待组装组件横向和/或纵向平移目标位移之后,上述方法还包括:通过摄像头采集第二待组装组件的多个第四图像;基于多个第四图像,确定第二待组装组件的第三位置信息;判断第一位置信息和第三位置信息之差的绝对值是否大于或等于第二预设阈值;控制机械手臂放下第二待组装组件,包括:在第一位置信息和第三位置信息之差的绝对值小于第二预设阈值的情况下,控制机械手臂放下第二待组装组件。
应理解,在第一位置信息和第三位置信息之差的绝对值小于第二预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的位置信息已对齐,无需对第二待组装组件再进行平移,接着,组件贴合设备控制机械手臂放下第二待组装组件,即可完成第一待组装组件和第二待组装组件的贴合。
在第一位置信息和第三位置信息之差的绝对值大于或等于第二预设阈值的情况下,组件贴合设备认为第二待组装组件与第一待组装组件的位置信息未对齐,控制机械手臂将第二待组装组件继续进行位置平移,通过摄像头采集平移后的第二待组装组件的新图像,确定新的位置信息,并确定第一位置信息和新的位置信息之差是否小于第二预设阈值,直到将第二待组装组件与第一待组装组件的位置对齐为止。之后,组件贴合设备控制机械手臂放下第二待组装组件。
在本申请实施例中,组件贴合设备可以在对第二待组装组件进行平移之后,检查第二待组装组件与第一待组装组件的位置是否对齐。如果第二待组装组件与第一待组装组件的位置没有对齐,组件贴合设备可以继续控制机械手臂将第二待组装组件横向和/或纵向平移,通过对第二待组装组件进行多次平移,直到将第二待组装组件与第一待组装组件的位置对齐为止。本申请实施例的组件贴合方法,有利于进一步提高待组装组件的组装精度,以保障待组装组件的组装精度满足生产要求。
下面结合图4和图5,以第一待组装组件为组件1,第二待组装组件为组件2为例,对本申请实施例进行详细说明。第一待组装组件和第二待组装组件的定位器件的俯视图均为四边形。
图4是本申请实施例提供的另一种组件贴合方法400的示意性流程图,该方法400可以由图1所示的组件贴合设备100执行,也可以由其他类似设备执行,本申请实施例对此不作限定。该方法400包括以下步骤:
S401,组件贴合设备通过四个摄像头采集组件1的四个角落的四个图像,得到图像11、图像12、图像13和图像14,组件1位于组件贴合设备的轨道滑台的载台上,由轨道滑台运送至四个摄像头下方。
应理解,图像11是组件1的四个角落中角落1的图像,图像12是组件1的四个角落中角落2的图像,图像13是组件1的四个角落中角落3的图像,图像14是组件1的四个角落中角落4的图像。
S402,组件贴合设备基于图像11、图像12、图像13和图像14,确定组件1的角度∠1。
示例性地,如图5所示,组件贴合设备可以在图像11中的两个侧边上选取一段短边A1和B1,在图像12中的两个侧边上选取一段短边A2和B2,在图像13中的两个侧边上选取一段短边A3和B3,在图像14中的两个侧边上选取一段短边A4和B4,各短边的长度为10mm。接着,组件贴合设备将A1划分为9段,得到10个端点,从而获取10个端点在二维坐标系XOY下的坐标,计算10个端点坐标的平均值,得到A1的坐标(XA1,YA1)。通过相同的方法,组件贴合设备得到B1的坐标(XB1,YB1)、A2的坐标(XA2,YA2)、B2的坐标(XB2,YB2)、A3的坐标(XA3,YA3)、B3的坐标(XB3,YB3)、A4的坐标(XA4,YA4)以及B4的坐标(XB4,YB4)。
组件贴合设备通过以下公式计算A1的坐标和A2的坐标的平均值:
((XA1,YA1)+(XA2,YA2))/2=(XA1A2,YA1A2);
其中,坐标(XA1A2,YA1A2)对应的点为图5中的A12。
组件贴合设备通过以下公式计算A3的坐标和A4的坐标的平均值:
((XA3,YA3)+(XA4,YA4))/2=(XA3A4,YA3A4);
其中,坐标(XA3A4,YA3A4)对应的点为图5中的A34;
组件贴合设备连接点A12和点A34,形成线段A12 A34。组件贴合设备计算线段A12 A34与X轴的夹角,得到组件1的角度∠1。
S403,组件贴合设备基于图像11、图像12、图像13和图像14,确定组件1的位置坐标(XA,YB)。
示例性地,如图5所示,组件贴合设备通过以下公式计算A1的坐标(XA1,YA1)、A2的坐标(XA2,YA2)、A3的坐标(XA3,YA3)和A4的坐标(XA4,YA4)的平均值:
((XA1,YA1)+(XA2,YA2)+(XA3,YA3)+(XA4,YA4))/4=(XA,YA);
组件贴合设备通过以下公式计算B1的坐标(XB1,YB1)、B2的坐标(XB2,YB2)、B3的坐标(XB3,YB3)和B4的坐标(XB4,YB4)的平均值:
((XB1,YB1)+(XB2,YB2)+(XB3,YB3)+(XB4,YB4))/4=(XB,YB);
组件贴合设备确定组件1的位置坐标为(XA,YB)。
S404,组件贴合设备控制机械手臂将组件2抓起至组件1的上方,四个摄像头的下方,通过四个摄像头采集组件2的四个角落的四个图像,得到图像21、图像22、图像23和图像24。
S405,组件贴合设备基于图像21、图像22、图像23和图像24,确定组件2的角度∠2。
应理解,组件2的角度∠2的确定方法与组件1的角度∠1的确定方法类似,在此不再赘述。
S406,组件贴合设备基于图像21、图像22、图像23和图像24,确定组件2的位置坐标(XC,YD)。
应理解,组件2的位置坐标(XC,YD)的确定方法与组件1的位置坐标(XA,YB)的确定方法类似,在此不再赘述。
S407,组件贴合设备控制机械手臂将组件2旋转目标角度,目标角度=∠2-∠1。
若目标角度为正数,组件贴合设备控制机械手臂将组件2顺时针旋转,旋转的角度为目标角度;若目标角度为负数,组件贴合设备控制机械手臂将组件2逆时针旋转,旋转的角度为目标角度的绝对值。若目标角度为零,则无需对组件2进行旋转。
S408,组件贴合设备通过四个摄像头采集组件2的四个角落的四个图像,得到图像31、图像32、图像33和图像34。
应理解,组件2的四个图像是组件2在旋转之后的四个角落的图像。
S409,组件贴合设备基于图像31、图像32、图像33和图像34,确定组件2的角度∠3;
应理解,组件2的角度∠3的确定方法与组件1的角度∠1的确定方法类似,在此不再赘述。
S410,组件贴合设备判断∠1和∠3之差的绝对值是否大于或等于角度阈值。
在∠1和∠3之差的绝对值大于或等于角度阈值的情况下,重复步骤S407,组件贴合设备控制机械手臂将组件2旋转目标角度,目标角度=∠3-∠1。
在∠1和∠3之差的绝对值小于角度阈值的情况下,继续执行S411。
示例性地,上述角度阈值可以为0.5°,还可以为其它数值,由组装精度决定。
S411,组件贴合设备基于图像31、图像32、图像33和图像34,确定组件2的位置坐标(XE,YF)。
应理解,组件2的位置坐标(XE,YF)的确定方法与组件1的位置坐标(XA,YB)的确定方法类似,在此不再赘述。
S412,组件贴合设备控制机械手臂将组件2横向和/或纵向平移目标位移(△X,△Y)=(XE,YF)-(XA,YB)。
目标位移包括横轴数值△X和纵轴数值△Y。若△X为正数,则组件贴合设备控制机械手臂将组件2沿着平行于横轴的方向,向横轴的负数方向平移,平移的数值为△X;若△X负数,则组件贴合设备控制机械手臂将组件2沿着平行于横轴的方向,向横轴的正数方向平移,平移的数值为△X的绝对值。若△X为零,则无需对组件2的横轴平移。若△Y为正数,则组件贴合设备控制机械手臂将组件2沿着平行于纵轴的方向,向纵轴的负数方向平移,平移的数值为△Y;若△Y为负数,则组件贴合设备控制机械手臂将组件2沿着平行于纵轴的方向,向纵轴的正数方向平移,平移的数值为△Y的绝对值。若△Y为零,则无需对组件2的纵轴平移。
S413,组件贴合设备通过四个摄像头采集组件2的四个角落的四个图像,得到图像41、图像42、图像43和图像44。
S414,组件贴合设备基于图像41、图像42、图像43和图像44,确定组件2的位置坐标(XG,YH);
应理解,确定组件2的位置坐标(XG,YH)的方法和确定组件1的位置坐标(XA,YB)的方法类似,在此不再赘述。
S415,组件贴合设备判断(XA,YB)和(XG,YH)之差的绝对值是否大于或等于位置阈值。
在(XA,YB)和(XG,YH)之差的绝对值大于或等于位置阈值的情况下,重复步骤S412,组件贴合设备控制机械手臂将组件2横向和/或纵向平移目标位移,目标位移为(XA,YB)和(XG,YH)之差。
在(XA,YB)和(XG,YH)之差的绝对值小于位置阈值的情况下,继续执行S416。
示例性地,上述位置阈值可以为0.02mm,还可以为其它数值,由组装精度决定。
S416,组件贴合设备控制机械手臂放下组件2,使得组件2和组件1贴合。
示例性地,组件1上有粘结胶,控制机械手臂放下组件2,在粘结胶的作用下,组件2和组件1完成贴合。此处仅以粘结胶为例,组件1和组件2还可以通过其他的方式进行贴合,例如磁性部件,本申请实施例对此不作限定。
本申请实施例的组件贴合方法,能够结合角度信息和位置信息实现组件贴合,这样,能够提高组件之间的组装精度,进而满足各类电子设备的生产质量需求和使用需求。此外,本申请实施例的方法降低了对物料的质量要求,进而降低物料成本和组装成本,从而降低了电子设备的整体生产成本。
上文结合图2至图5,详细描述了本申请实施例的组件贴合方法,下面将结合图6至图7,详细描述本申请实施例的组件贴合装置。
图6示出了本申请实施例提供的组件贴合装置600,该装置600包括:轨道滑台601、摄像头602、机械手臂603和处理器604。
其中,上述处理器604用于:通过摄像头602采集第一待组装组件的多个第一图像,第一待组装组件位于轨道滑台601的载台上;控制机械手臂603将第二待组装组件抓起至第一待组装组件上方,通过摄像头602采集第二待组装组件的多个第二图像;基于多个第一图像,确定第一待组装组件的第一角度信息和第一位置信息;基于多个第二图像,确定第二待组装组件的第二角度信息和第二位置信息;控制机械手臂603将第二待组装组件旋转目标角度,目标角度为第一角度信息和第二角度信息之差;控制机械手臂603将第二待组装组件横向和/或纵向平移目标位移,目标位移为第一位置信息和第二位置信息之差;控制机械手臂603放下第二待组装组件,使得第一待组装组件和第二待组装组件贴合。
可选地,多个第一图像为第一待组装组件的第一定位器件的图像,第一定位器件为四边形;处理器604还用于:基于多个第一图像,获取第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;根据四个角落对应的侧边中的第一侧边和第二侧边在上述二维坐标系下的位置信息,确定第一目标坐标,第一侧边和第二侧边相对;根据四个角落对应的侧边中的第三侧边和第四侧边在上述二维坐标系下的位置信息,确定第二目标坐标,第三侧边和第四侧边相对,且第一侧边、第二侧边、第三侧边以及第四侧边分别属于不同角落;根据第一目标坐标和第二目标坐标,确定第一角度信息。
可选地,处理器604还用于:将第一侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第一平均坐标;将第二侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第二平均坐标;将第一平均坐标和第二平均坐标的平均值确定为第一目标坐标。
可选地,处理器604还用于:将第三侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第三平均坐标;将第四侧边所包括的多个点在上述二维坐标系下的坐标的平均值,确定为第四平均坐标;将第三平均坐标和第四平均坐标的平均值确定为第二目标坐标。
可选地,处理器604还用于:连接第一目标坐标对应的点和第二目标坐标对应的点,形成目标线段;将目标线段与二维坐标系中的目标坐标轴之间的夹角,确定为第一角度信息。
可选地,多个第一图像为第一待组装组件的第一定位器件的图像,第一定位器件为四边形;处理器604还用于:基于多个第一图像,获取第一定位器件的四个角落对应的侧边在上述二维坐标系下的位置信息;根据第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定第一位置信息。
可选地,处理器604还用于:分别计算四个角落对应的侧边中每个侧边所包括的多个点在上述二维坐标系下的坐标的平均值;根据每个侧边对应的平均值,确定第一位置信息。
可选地,处理器604还用于:通过摄像头602采集第二待组装组件的多个第三图像;基于多个第三图像,确定第二待组装组件的第三角度信息;判断第一角度信息和第三角度信息之差的绝对值是否大于或等于第一预设阈值;在第一角度信息和第三角度信息之差的绝对值小于第一预设阈值的情况下,控制机械手臂603将第二待组装组件横向和/或纵向平移目标位移。
可选地,处理器604还用于:通过摄像头602采集第二待组装组件的多个第四图像;基于多个第四图像,确定第二待组装组件的第三位置信息;判断第一位置信息和第三位置信息之差的绝对值是否大于或等于第二预设阈值;在第一位置信息和第三位置信息之差的绝对值小于第二预设阈值的情况下,控制机械手臂603放下第二待组装组件。
应理解,装置600可以具体为上述实施例中的组件贴合设备,并且可以用于执行上述方法实施例中与组件贴合设备对应的各个步骤和/或流程。
可选地,装置600还包括存储器,该存储器可以包括只读存储器和随机存储器,并向处理器604提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如,存储器还可以存储设备类型的信息。处理器604可以用于执行存储器中存储的指令,并且当该处理器604执行存储器中存储的指令时,该处理器604用于执行上述与组件贴合设备对应的方法实施例的各个步骤和/或流程。
应理解,在本申请实施例中,处理器可以是中央处理单元(central processingunit,CPU),处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器执行存储器中的指令,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
图7示出了本申请实施例提供的另一种组件贴合装置700,该装置700包括:采集模块701和处理模块702。
上述采集模块701用于:采集第一待组装组件的多个第一图像,第一待组装组件位于轨道滑台的载台上;处理模块702用于:控制机械手臂将第二待组装组件抓起至第一待组装组件上方;采集模块701用于采集第二待组装组件的多个第二图像;处理模块702还用于:基于多个第一图像,确定第一待组装组件的第一角度信息和第一位置信息;基于多个第二图像,确定第二待组装组件的第二角度信息和第二位置信息;控制机械手臂将第二待组装组件旋转目标角度,目标角度为第一角度信息和第二角度信息之差;控制机械手臂将第二待组装组件横向和/或纵向平移目标位移,目标位移为第一位置信息和第二位置信息之差;控制机械手臂放下第二待组装组件,使得第一待组装组件和第二待组装组件贴合。
应理解,这里的装置700以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中,本领域技术人员可以理解,装置700可以具体为上述实施例中的组件贴合设备,装置700可以用于执行上述方法实施例中与组件贴合设备对应的各个流程和/或步骤,为避免重复,在此不再赘述。
上述装置700具有实现上述方法中组件贴合设备执行的相应步骤的功能;上述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在本申请的实施例,图7中的装置700也可以是芯片或者芯片系统,例如片上系统(system on chip,SoC)。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,该计算机程序用于实现上述实施例中与组件贴合设备对应的方法。
本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序(也可以称为代码,或指令),当该计算机程序在计算机上运行时,该计算机可以执行上述实施例中与组件贴合设备对应的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应所述以权利要求的保护范围为准。
Claims (20)
1.一种组件贴合方法,其特征在于,应用于包括轨道滑台、摄像头和机械手臂的组件贴合设备,所述方法包括:
通过所述摄像头采集第一待组装组件的多个第一图像,所述第一待组装组件位于所述轨道滑台的载台上;
控制所述机械手臂将第二待组装组件抓起至所述第一待组装组件上方,通过所述摄像头采集所述第二待组装组件的多个第二图像;
基于所述多个第一图像,确定所述第一待组装组件的第一角度信息和第一位置信息;
基于所述多个第二图像,确定所述第二待组装组件的第二角度信息和第二位置信息;
控制所述机械手臂将所述第二待组装组件旋转目标角度,所述目标角度为所述第一角度信息和所述第二角度信息之差;
控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移,所述目标位移为所述第一位置信息和所述第二位置信息之差;
控制所述机械手臂放下所述第二待组装组件,使得所述第一待组装组件和所述第二待组装组件贴合;
若所述多个第一图像为所述第一待组装组件的俯视图的各个角落对应的图像,所述第一待组装组件的俯视图为四边形时,所述基于所述多个第一图像,确定所述第一待组装组件的第一角度信息,包括:
基于所述多个第一图像,获取所述第一待组装组件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述四个角落对应的侧边中的第一侧边和第二侧边在所述二维坐标系下的位置信息,确定第一目标坐标,所述第一侧边和所述第二侧边相对;
根据所述四个角落对应的侧边中的第三侧边和第四侧边在所述二维坐标系下的位置信息,确定第二目标坐标,所述第三侧边和所述第四侧边相对,且所述第一侧边、所述第二侧边、所述第三侧边以及所述第四侧边分别属于不同角落;
根据所述第一目标坐标和所述第二目标坐标,确定所述第一角度信息。
2.根据权利要求1所述的方法,其特征在于,所述多个第一图像为所述第一待组装组件的第一定位器件的图像,所述第一定位器件为四边形;
所述基于所述多个第一图像,确定所述第一待组装组件的第一角度信息,包括:
基于所述多个第一图像,获取所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述四个角落对应的侧边中的第一侧边和第二侧边在所述二维坐标系下的位置信息,确定第一目标坐标,所述第一侧边和所述第二侧边相对;
根据所述四个角落对应的侧边中的第三侧边和第四侧边在所述二维坐标系下的位置信息,确定第二目标坐标,所述第三侧边和所述第四侧边相对,且所述第一侧边、所述第二侧边、所述第三侧边以及所述第四侧边分别属于不同角落;
根据所述第一目标坐标和所述第二目标坐标,确定所述第一角度信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述四个角落对应的侧边中的第一侧边和第二侧边在所述二维坐标系下的位置信息,确定第一目标坐标,包括:
将所述第一侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第一平均坐标;
将所述第二侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第二平均坐标;
将所述第一平均坐标和所述第二平均坐标的平均值确定为所述第一目标坐标。
4.根据权利要求2所述的方法,其特征在于,所述根据所述四个角落对应的侧边中的第三侧边和第四侧边在所述二维坐标系下的位置信息,确定第二目标坐标,包括:
将所述第三侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第三平均坐标;
将所述第四侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第四平均坐标;
将所述第三平均坐标和所述第四平均坐标的平均值确定为所述第二目标坐标。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述根据所述第一目标坐标和所述第二目标坐标,确定所述第一角度信息,包括:
连接所述第一目标坐标对应的点和所述第二目标坐标对应的点,形成目标线段;
将所述目标线段与所述二维坐标系中的目标坐标轴之间的夹角,确定为所述第一角度信息。
6.根据权利要求1所述的方法,其特征在于,所述多个第一图像为所述第一待组装组件的第一定位器件的图像,所述第一定位器件为四边形;
所述基于所述多个第一图像,确定所述第一待组装组件的第一位置信息,包括:
基于所述多个第一图像,获取所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定所述第一位置信息。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定所述第一位置信息,包括:
分别计算所述四个角落对应的侧边中每个侧边所包括的多个点在所述二维坐标系下的坐标的平均值;
根据所述每个侧边对应的平均值,确定所述第一位置信息。
8.根据权利要求1所述的方法,其特征在于,在所述控制所述机械手臂将所述第二待组装组件旋转目标角度之后,所述方法还包括:
通过所述摄像头采集所述第二待组装组件的多个第三图像;
基于所述多个第三图像,确定所述第二待组装组件的第三角度信息;
判断所述第一角度信息和所述第三角度信息之差的绝对值是否大于或等于第一预设阈值;
所述控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移,包括:
在所述第一角度信息和所述第三角度信息之差的绝对值小于所述第一预设阈值的情况下,控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移。
9.根据权利要求1所述的方法,其特征在于,在所述控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移之后,所述方法还包括:
通过所述摄像头采集所述第二待组装组件的多个第四图像;
基于所述多个第四图像,确定所述第二待组装组件的第三位置信息;
判断所述第一位置信息和所述第三位置信息之差的绝对值是否大于或等于第二预设阈值;
所述控制所述机械手臂放下所述第二待组装组件,包括:
在所述第一位置信息和所述第三位置信息之差的绝对值小于所述第二预设阈值的情况下,控制所述机械手臂放下所述第二待组装组件。
10.一种组件贴合装置,其特征在于,包括:
轨道滑台、摄像头、机械手臂和处理器;
所述处理器用于:
通过所述摄像头采集第一待组装组件的多个第一图像,所述第一待组装组件位于所述轨道滑台的载台上;
控制所述机械手臂将第二待组装组件抓起至所述第一待组装组件上方,通过所述摄像头采集所述第二待组装组件的多个第二图像;
基于所述多个第一图像,确定所述第一待组装组件的第一角度信息和第一位置信息;
基于所述多个第二图像,确定所述第二待组装组件的第二角度信息和第二位置信息;
控制所述机械手臂将所述第二待组装组件旋转目标角度,所述目标角度为所述第一角度信息和所述第二角度信息之差;
控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移,所述目标位移为所述第一位置信息和所述第二位置信息之差;
控制所述机械手臂放下所述第二待组装组件,使得所述第一待组装组件和所述第二待组装组件贴合;
若所述多个第一图像为所述第一待组装组件的俯视图的各个角落对应的图像,所述第一待组装组件的俯视图为四边形时,所述基于所述多个第一图像,确定所述第一待组装组件的第一角度信息,包括:
基于所述多个第一图像,获取所述第一待组装组件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述四个角落对应的侧边中的第一侧边和第二侧边在所述二维坐标系下的位置信息,确定第一目标坐标,所述第一侧边和所述第二侧边相对;
根据所述四个角落对应的侧边中的第三侧边和第四侧边在所述二维坐标系下的位置信息,确定第二目标坐标,所述第三侧边和所述第四侧边相对,且所述第一侧边、所述第二侧边、所述第三侧边以及所述第四侧边分别属于不同角落;
根据所述第一目标坐标和所述第二目标坐标,确定所述第一角度信息。
11.根据权利要求10所述的装置,其特征在于,所述多个第一图像为所述第一待组装组件的第一定位器件的图像,所述第一定位器件为四边形;
所述处理器还用于:
基于所述多个第一图像,获取所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述四个角落对应的侧边中的第一侧边和第二侧边在所述二维坐标系下的位置信息,确定第一目标坐标,所述第一侧边和所述第二侧边相对;
根据所述四个角落对应的侧边中的第三侧边和第四侧边在所述二维坐标系下的位置信息,确定第二目标坐标,所述第三侧边和所述第四侧边相对,且所述第一侧边、所述第二侧边、所述第三侧边以及所述第四侧边分别属于不同角落;
根据所述第一目标坐标和所述第二目标坐标,确定所述第一角度信息。
12.根据权利要求11所述的装置,其特征在于,所述处理器还用于:
将所述第一侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第一平均坐标;
将所述第二侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第二平均坐标;
将所述第一平均坐标和所述第二平均坐标的平均值确定为所述第一目标坐标。
13.根据权利要求11所述的装置,其特征在于,所述处理器还用于:
将所述第三侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第三平均坐标;
将所述第四侧边所包括的多个点在所述二维坐标系下的坐标的平均值,确定为第四平均坐标;
将所述第三平均坐标和所述第四平均坐标的平均值确定为所述第二目标坐标。
14.根据权利要求11至13中任一项所述的装置,其特征在于,所述处理器还用于:
连接所述第一目标坐标对应的点和所述第二目标坐标对应的点,形成目标线段;
将所述目标线段与所述二维坐标系中的目标坐标轴之间的夹角,确定为所述第一角度信息。
15.根据权利要求10所述的装置,其特征在于,所述多个第一图像为所述第一待组装组件的第一定位器件的图像,所述第一定位器件为四边形;
所述处理器还用于:
基于所述多个第一图像,获取所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息;
根据所述第一定位器件的四个角落对应的侧边在二维坐标系下的位置信息,确定所述第一位置信息。
16.根据权利要求15所述的装置,其特征在于,所述处理器还用于:
分别计算所述四个角落对应的侧边中每个侧边所包括的多个点在所述二维坐标系下的坐标的平均值;
根据所述每个侧边对应的平均值,确定所述第一位置信息。
17.根据权利要求10所述的装置,其特征在于,所述处理器还用于:
通过所述摄像头采集所述第二待组装组件的多个第三图像;
基于所述多个第三图像,确定所述第二待组装组件的第三角度信息;
判断所述第一角度信息和所述第三角度信息之差的绝对值是否大于或等于第一预设阈值;
在所述第一角度信息和所述第三角度信息之差的绝对值小于所述第一预设阈值的情况下,控制所述机械手臂将所述第二待组装组件横向和/或纵向平移目标位移。
18.根据权利要求10所述的装置,其特征在于,所述处理器还用于:
通过所述摄像头采集所述第二待组装组件的多个第四图像;
基于所述多个第四图像,确定所述第二待组装组件的第三位置信息;
判断所述第一位置信息和所述第三位置信息之差的绝对值是否大于或等于第二预设阈值;
在所述第一位置信息和所述第三位置信息之差的绝对值小于所述第二预设阈值的情况下,控制所述机械手臂放下所述第二待组装组件。
19.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序包括用于实现如权利要求1至9中任一项所述的方法的指令。
20.一种计算机程序产品,其特征在于,所述计算机程序产品中包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机实现如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146872.XA CN115229804B (zh) | 2022-09-21 | 2022-09-21 | 组件贴合方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211146872.XA CN115229804B (zh) | 2022-09-21 | 2022-09-21 | 组件贴合方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115229804A CN115229804A (zh) | 2022-10-25 |
CN115229804B true CN115229804B (zh) | 2023-02-17 |
Family
ID=83680332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211146872.XA Active CN115229804B (zh) | 2022-09-21 | 2022-09-21 | 组件贴合方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115229804B (zh) |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62226307A (ja) * | 1986-03-28 | 1987-10-05 | Toshiba Corp | ロボツト装置 |
JPH04171126A (ja) * | 1990-11-02 | 1992-06-18 | Canon Inc | 複数部材の位置合わせ方法及びその方法を用いて製造される記録ヘッド |
JP2006197105A (ja) * | 2005-01-12 | 2006-07-27 | Nec Viewtechnology Ltd | 発信器情報受信部付プロジェクタと投射画像歪み補正方法 |
CN102085611A (zh) * | 2010-11-11 | 2011-06-08 | 宁波工程学院 | 应变片自动装配方法及装配系统 |
CN105069799A (zh) * | 2015-08-13 | 2015-11-18 | 深圳市华汉伟业科技有限公司 | 一种角点定位方法及装置 |
CN106514201A (zh) * | 2016-12-06 | 2017-03-22 | 电子科技大学 | 一种自动接插件装配机器人系统及其控制方法 |
CN106564267A (zh) * | 2016-11-03 | 2017-04-19 | 深圳市伟鸿科科技有限公司 | 背光源ccd贴膜工艺及背光源ccd贴膜机 |
CN206551632U (zh) * | 2016-11-03 | 2017-10-13 | 深圳市伟鸿科科技有限公司 | 背光源ccd贴膜机 |
CN207889295U (zh) * | 2017-12-30 | 2018-09-21 | 天津曼科科技有限公司 | 一种自动精密贴膜机 |
CN111639644A (zh) * | 2020-05-29 | 2020-09-08 | 广东利元亨智能装备股份有限公司 | 工件定位方法、装置及电子设备 |
JP2020181322A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
CN113052896A (zh) * | 2019-12-27 | 2021-06-29 | 大族激光科技产业集团股份有限公司 | 视觉定位方法及装置 |
WO2021179898A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳市商汤科技有限公司 | 动作识别方法及装置、电子设备、计算机可读存储介质 |
CN113705268A (zh) * | 2021-08-30 | 2021-11-26 | 山东大学 | 一种二维码定位方法及系统 |
CN114005030A (zh) * | 2021-10-22 | 2022-02-01 | 追觅创新科技(苏州)有限公司 | 自动清洁设备的真值获取方法、系统及自动清洁设备 |
CN114445455A (zh) * | 2021-12-22 | 2022-05-06 | 北京中广上洋科技股份有限公司 | 一种黑板跟踪方法和系统 |
CN114693673A (zh) * | 2022-04-24 | 2022-07-01 | 睿云奇智(重庆)科技有限公司 | 玻璃检测的方法、装置、电子设备及计算机可读存储介质 |
CN114862963A (zh) * | 2022-04-24 | 2022-08-05 | 武汉海微科技有限公司 | 贴合定位方法、装置、设备及存储介质 |
CN217263019U (zh) * | 2021-09-22 | 2022-08-23 | 深圳市泰科盛科技有限公司 | 手机配件贴合系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5095005A (zh) * | 1973-12-21 | 1975-07-29 | ||
JP5271031B2 (ja) * | 2008-08-09 | 2013-08-21 | 株式会社キーエンス | 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
US8313608B2 (en) * | 2010-09-22 | 2012-11-20 | Exelis, Inc. | Method of aligning an imaging device in an optical system |
US10395126B2 (en) * | 2015-08-11 | 2019-08-27 | Honda Motor Co., Ltd. | Sign based localization |
CN106097329B (zh) * | 2016-06-07 | 2018-11-13 | 浙江工业大学 | 一种基于边缘检测的集装箱轮廓定位方法 |
US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
JP2019179342A (ja) * | 2018-03-30 | 2019-10-17 | 日本電産サンキョー株式会社 | 画像処理装置および画像処理方法 |
CN110889832B (zh) * | 2019-11-18 | 2021-03-23 | 广东利元亨智能装备股份有限公司 | 工件定位方法、装置、电子设备及工件定位系统 |
JP7427333B2 (ja) * | 2020-03-18 | 2024-02-05 | 株式会社ディスコ | エッジアライメント方法 |
-
2022
- 2022-09-21 CN CN202211146872.XA patent/CN115229804B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62226307A (ja) * | 1986-03-28 | 1987-10-05 | Toshiba Corp | ロボツト装置 |
JPH04171126A (ja) * | 1990-11-02 | 1992-06-18 | Canon Inc | 複数部材の位置合わせ方法及びその方法を用いて製造される記録ヘッド |
JP2006197105A (ja) * | 2005-01-12 | 2006-07-27 | Nec Viewtechnology Ltd | 発信器情報受信部付プロジェクタと投射画像歪み補正方法 |
CN102085611A (zh) * | 2010-11-11 | 2011-06-08 | 宁波工程学院 | 应变片自动装配方法及装配系统 |
CN105069799A (zh) * | 2015-08-13 | 2015-11-18 | 深圳市华汉伟业科技有限公司 | 一种角点定位方法及装置 |
CN106564267A (zh) * | 2016-11-03 | 2017-04-19 | 深圳市伟鸿科科技有限公司 | 背光源ccd贴膜工艺及背光源ccd贴膜机 |
CN206551632U (zh) * | 2016-11-03 | 2017-10-13 | 深圳市伟鸿科科技有限公司 | 背光源ccd贴膜机 |
CN106514201A (zh) * | 2016-12-06 | 2017-03-22 | 电子科技大学 | 一种自动接插件装配机器人系统及其控制方法 |
CN207889295U (zh) * | 2017-12-30 | 2018-09-21 | 天津曼科科技有限公司 | 一种自动精密贴膜机 |
JP2020181322A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
CN113052896A (zh) * | 2019-12-27 | 2021-06-29 | 大族激光科技产业集团股份有限公司 | 视觉定位方法及装置 |
WO2021179898A1 (zh) * | 2020-03-11 | 2021-09-16 | 深圳市商汤科技有限公司 | 动作识别方法及装置、电子设备、计算机可读存储介质 |
CN111639644A (zh) * | 2020-05-29 | 2020-09-08 | 广东利元亨智能装备股份有限公司 | 工件定位方法、装置及电子设备 |
CN113705268A (zh) * | 2021-08-30 | 2021-11-26 | 山东大学 | 一种二维码定位方法及系统 |
CN217263019U (zh) * | 2021-09-22 | 2022-08-23 | 深圳市泰科盛科技有限公司 | 手机配件贴合系统 |
CN114005030A (zh) * | 2021-10-22 | 2022-02-01 | 追觅创新科技(苏州)有限公司 | 自动清洁设备的真值获取方法、系统及自动清洁设备 |
CN114445455A (zh) * | 2021-12-22 | 2022-05-06 | 北京中广上洋科技股份有限公司 | 一种黑板跟踪方法和系统 |
CN114693673A (zh) * | 2022-04-24 | 2022-07-01 | 睿云奇智(重庆)科技有限公司 | 玻璃检测的方法、装置、电子设备及计算机可读存储介质 |
CN114862963A (zh) * | 2022-04-24 | 2022-08-05 | 武汉海微科技有限公司 | 贴合定位方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于机器视觉的工业机器人打磨目标识别与定位算法研究;童胜杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220315;全文 * |
基于边缘检测与特征组合的多目标识别与定位抓取研究;覃畅;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20220415;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115229804A (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921901B (zh) | 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法 | |
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
JP6518952B2 (ja) | 車両用表示装置の位置調整方法 | |
CN102155923B (zh) | 基于立体靶标的拼接测量方法及系统 | |
CN111429523B (zh) | 一种在3d建模中远距离标定方法 | |
CN102798456B (zh) | 一种工程机械臂架系统工作幅度的测量方法、装置及系统 | |
TWI521471B (zh) | 3 - dimensional distance measuring device and method thereof | |
CN110288651A (zh) | 大尺寸工件的公差视觉检测方法、装置和计算设备 | |
CN109191527B (zh) | 一种基于最小化距离偏差的对位方法及装置 | |
CN112492292B (zh) | 一种自由姿态的智能视觉3d信息采集设备 | |
CN111445528B (zh) | 一种在3d建模中多相机共同标定方法 | |
CN107504917B (zh) | 一种三维尺寸测量方法及装置 | |
JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
JP2010112729A (ja) | 3次元モデルの作成方法および物体認識装置 | |
JP4743771B2 (ja) | 断面データ取得方法、システム、及び断面検査方法 | |
CN109781003B (zh) | 一种结构光视觉系统的下一最佳测量位姿确定方法 | |
JP5858773B2 (ja) | 3次元計測方法、3次元計測プログラム及びロボット装置 | |
CN104913775A (zh) | 无人机对地高度的测量方法、无人机定位方法及装置 | |
CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
KR101006728B1 (ko) | 중심 투영과 영상 매칭을 이용한 자동 3 차원 좌표 측정 방법 | |
CN112254680A (zh) | 一种多自由度的智能视觉3d信息采集设备 | |
CN115229804B (zh) | 组件贴合方法和装置 | |
CN101846514B (zh) | 工业数字摄影测量用像点匹配方法 | |
CN108257184A (zh) | 一种基于正方形点阵合作目标的相机姿态测量方法 | |
CN104913776B (zh) | 无人机定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |