CN115194773B - 一种视觉引导组装方法及装置 - Google Patents
一种视觉引导组装方法及装置 Download PDFInfo
- Publication number
- CN115194773B CN115194773B CN202211009940.8A CN202211009940A CN115194773B CN 115194773 B CN115194773 B CN 115194773B CN 202211009940 A CN202211009940 A CN 202211009940A CN 115194773 B CN115194773 B CN 115194773B
- Authority
- CN
- China
- Prior art keywords
- current
- information
- calibration
- camera
- assembled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 109
- 239000000463 material Substances 0.000 claims abstract description 315
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims description 133
- 230000005540 biological transmission Effects 0.000 claims description 121
- 230000033001 locomotion Effects 0.000 claims description 67
- 239000013590 bulk material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 description 20
- 238000001179 sorption measurement Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种视觉引导组装方法，包括：基于待组装物料的第一坐标信息和本体物料的第二坐标信息，得到第一相机的第一标定信息和第二相机的第二标定信息；对待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息；基于标准组装件的位置信息，确定基准信息；获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息；进行角度偏差计算处理，得到当前视觉角度差；对第一当前位置进行位置补偿处理，得到当前待组装物料的当前补偿位置；基于基准信息、当前补偿位置、第二当前位置和当前视觉角度差，确定当前待组装物料的目标位置和目标角度。本申请的视觉引导组装方法能够降低组装成本，同时提高组装精度和组装效率。
Description
技术领域
本申请涉及组装技术领域，尤其涉及一种视觉引导组装方法及装置。
背景技术
视觉在工业自动化领域的应用越来越广泛，如视觉引导、视觉检测和视觉传感器等。视觉引导是以现代光学为基础，融合电子学、数据处理器图像学、信息处理学、数据处理器和组装控制技术等为一体的现代化技术，具有非接触物料便可进行准确检测的优点，在质量检测、产品分拣、产品组装、尺寸检测和字符识别中均具有广泛的应用前景。视觉引导的产品组装是通过工业相机拍照检测对比，计算出偏移量，最后进行引导组装的技术。
目前，视觉引导的产品组装主要依靠的是单相机定位和机构辅助定位，其中，机构辅助定位对机构的加工精度和组装精度要求较高，该方式的视觉引导的产品组装成本高、组装精度低且适用范围有限。此外，现有技术需要借助于定制标定板进行相机标定，标定板的制作成本高，且标定过程复杂。
发明内容
本申请提供了一种视觉引导组装方法及装置，能够降低组装成本，同时提高组装精度和组装效率。
一方面，本申请提供一种视觉引导组装方法，用于物料组装系统，所述物料组装系统包括载物台、第一相机、传动机构和第二相机，所述第一相机与所述载物台固定连接，所述载物台用于固定所述本体物料，所述传动机构的固定端与所述载物台固定连接，所述传动机构的运动端用于固定所述待组装物料和所述第二相机，所述方法包括：
获取所述待组装物料的第一坐标信息、所述本体物料的第二坐标信息和所述待组装物料的旋转坐标信息；
基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机的第一标定信息和所述第二相机的第二标定信息；
对所述待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，所述旋转中心位置信息是基于所述第一标定信息确定的，所述旋转中心位置信息表征所述待组装物料的实际旋转中心位置；
基于标准组装件的位置信息、所述第一标定信息和所述第二标定信息，确定基准信息，所述标准组装件由所述待组装物料与所述本体物料组装而成，且其组装精度满足预设精度条件，所述基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度；
获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，所述第一当前视觉信息表征所述传动机构位于所述第一相机拍照位置的情况下，基于所述第一标定信息确定的所述当前待组装物料的第一当前位置和第一当前角度；所述第二当前视觉信息表征所述传动机构位于所述第二相机拍照位置的情况下，基于所述第二标定信息确定的所述当前本体物料的第二当前位置和第二当前角度；
对所述第一视觉基准角度、所述第二视觉基准角度、所述第一当前角度和所述第二当前角度进行角度偏差计算处理，得到当前视觉角度差，所述当前视觉角度差表征所述当前待组装物料和所述当前本体物料分别相对于所述标准组装件的总角度偏差；
基于所述旋转中心位置信息和所述当前视觉角度差，对所述第一当前位置进行位置补偿处理，得到所述当前待组装物料的当前补偿位置；
基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，所述目标位置和目标角度用于指示所述当前待组装物料和所述当前本体物料的组装。
优选的，所述基准信息还包括基准组装位置、基准组装角度、第一视觉基准位置、第二视觉基准位置，所述基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，包括：
基于所述基准组装位置、所述第二当前位置、所述第二视觉基准位置、所述当前补偿位置和所述第一视觉基准位置，确定所述当前待组装物料的目标位置；
基于所述基准组装角度和所述当前视觉角度差，确定所述当前待组装物料的目标角度。
优选的，在所述基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度之后，所述方法还包括：
控制所述传动机构的运动端带动所述当前待组装物料进行目标运动，以使所述当前待组装物料运动至所述目标位置和目标角度。
优选的，所述第一坐标信息包括第一传动机构标定坐标和第一相机标定坐标，所述获取所述待组装物料的第一坐标信息，包括：
控制所述传动机构的运动端协同所述待组装物料进行第一预设次第一相机标定运动；
在所述第一预设次第一相机标定运动过程中，确定所述待组装物料在所述传动机构物理坐标系中的所述第一传动机构标定坐标，以及所述待组装物料在所述第一相机物理坐标系中的所述第一相机标定坐标。
优选的，所述第二坐标信息包括第二传动机构标定坐标和第二相机标定坐标，获取所述本体物料的第二坐标信息，包括：
控制所述传动机构的运动端协同所述第二相机进行第二预设次第二相机标定运动；
在所述第二预设次第二相机标定运动过程中，确定所述本体物料在所述传动机构物理坐标系中的所述第二传动机构标定坐标，以及所述本体物料在所述第二相机物理坐标系中的所述第二相机标定坐标。
优选的，所述基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机的第一标定信息和所述第二相机的第二标定信息，包括：
对所述第一传动机构标定坐标和所述第一相机标定坐标进行第一标定计算，得到所述第一标定信息，所述第一标定信息表征第一相机物理坐标与所述传动机构物理坐标间的第一映射关系；
对所述第二传动机构标定坐标和所述第二相机标定坐标进行第二标定计算，得到所述第二标定信息，所述第二标定信息表征所述第二相机物理坐标与所述传动机构物理坐标间的第二映射关系。
优选的，所述旋转坐标信息表征所述传动机构的运动端协同所述待组装物料进行第三预设次旋转运动的情况下，所述待组装物料在第一相机物理坐标系中的旋转坐标，所述对所述待组装物料的旋转坐标信息进行中心拟合处理，确定旋转中心位置信息，包括：
对所述旋转坐标信息进行中心拟合处理，得到所述待组装物料在所述第一相机物理坐标系中的第一相机旋转中心位置；
基于所述第一相机旋转中心位置和所述第一标定信息，确定所述待组装物料在所述传动机构物理坐标系中的实际旋转中心位置。
优选的，所述对所述第一传动机构标定坐标和所述第一相机标定坐标进行第一标定计算，得到所述第一标定信息之前，所述方法还包括：
基于预设视觉标定算法，从所述物料组装系统中提取所述第一传动机构标定坐标和所述第一相机标定坐标。
优选的，所述对所述第二传动机构标定坐标和所述第二相机标定坐标进行第二标定计算，得到所述第二标定信息之前，所述方法还包括：
基于预设视觉标定算法，从所述物料组装系统中提取所述第二传动机构标定坐标和所述第二相机标定坐标。
另一方面，本申请提供一种视觉引导组装装置，包括：
第一获取模块：用于获取所述待组装物料的第一坐标信息、所述本体物料的第二坐标信息和所述待组装物料的旋转坐标信息；
第一处理模块：用于基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机的第一标定信息和所述第二相机的第二标定信息；
第二处理模块：用于对所述待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，所述旋转中心位置信息是基于所述第一标定信息确定的，所述旋转中心位置信息表征所述待组装物料的实际旋转中心位置；
第三处理模块：用于基于标准组装件的位置信息、所述第一标定信息和所述第二标定信息，确定基准信息，所述标准组装件由所述待组装物料与所述本体物料组装而成，且其组装精度满足预设精度条件，所述基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度；
第二获取模块：用于获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，所述第一当前视觉信息表征所述传动机构位于所述第一相机拍照位置的情况下，基于所述第一标定信息确定的所述当前待组装物料的第一当前位置和第一当前角度；所述第二当前视觉信息表征所述传动机构位于所述第二相机拍照位置的情况下，基于所述第二标定信息确定的所述当前本体物料的第二当前位置和第二当前角度；
第四处理模块：用于对所述第一视觉基准角度、所述第二视觉基准角度、所述第一当前角度和所述第二当前角度进行角度偏差计算处理，得到当前视觉角度差，所述当前视觉角度差表征所述当前待组装物料和所述当前本体物料分别相对于所述标准组装件的总角度偏差；
第五处理模块：用于基于所述旋转中心位置信息和所述当前视觉角度差，对所述第一当前位置进行位置补偿处理，得到所述当前待组装物料的当前补偿位置；
第六处理模块：用于基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，所述目标位置和目标角度用于指示所述当前待组装物料和所述当前本体物料的组装。
另一方面，本申请提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行如上所述的视觉引导组装方法。
另一方面，本申请提供一种实现上述视觉引导组装方法的电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的视觉引导组装方法。
本申请提供的一种视觉引导组装方法及装置，具有如下有益效果：
本申请的视觉引导组装方法基于待组装物料的第一坐标信息和本体物料的第二坐标信息，得到第一相机的第一标定信息和第二相机的第二标定信息，使用待组装物料和本体物料对第一相机和第二相机进行分别标定，标定成本低、操作简单，且标定精度高；通过第一相机和第二相机进行视觉引导组装，能够提高物料的组装精度和效率；基于第一当前视觉信息、第二当前视觉信息和基准信息计算目标位置和目标角度，能够实现第一相机和第二相机各拍照一次即可完成角度和平移的补偿，提高物料的组装效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种物料组装系统的结构示意图；
图2是本申请实施例提供的一种视觉引导组装方法的流程示意图；
图3是本申请实施例提供的一种获取待组装物料的第一坐标信息方法的流程示意图；
图4是本申请实施例提供的一种获取本体物料的第二坐标信息方法的流程示意图；
图5是本申请实施例提供的一种确定第一标定信息和第二标定信息方法的流程示意图；
图6是本申请实施例提供的一种确定旋转中心位置信息方法的流程示意图；
图7是本申请实施例提供的一种计算当前补偿位置的示意图；
图8是本申请实施例提供的一种确定当前待组装物料的目标位置和目标角度方法的流程示意图；
图9是本申请实施例提供的一种视觉引导组装装置的结构示意图；
图10是本申请实施例提供的一种用于实现视觉引导组装方法的电子设备的硬件结构框图。
以下对附图作补充说明：
10-载物台；20-物料工位；30-传动机构；31-物料吸附端；40-第一相机；50-第二相机。
具体实施方式
为了使本技术领域的人员更好地的理解本申请的方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下结合图1介绍本申请实施例提供的一种物料组装系统，图1为本申请实施例提供的一种物料组装系统的结构示意图，请参考图1，本申请实施例提供的一种物料组装系统包括载物台10、第一相机40、传动机构30和第二相机50，第一相机40与载物台10固定连接，载物台10用于固定本体物料，传动机构30的固定端与载物台10固定连接，传动机构30的运动端用于固定待组装物料和第二相机50。
一些实施例中，载物台10上设置有物料工位20，物料工位20用于定位和固定本体物料，如此，实现本体物料和载物台10的固定连接。载物台10上还设置有第一相机固定位，第一相机40固定位用于定位和固定第一相机40，如此，实现第一相机40和载物台10的固定连接。
一些实施例中，物料组装系统还包括动力吸附装置，传动机构30的运动端上设置有物料吸附端31，物料吸附端31与动力吸附装置连通，在动力吸附装置的动力作用下，物料吸附端31能够吸附待组装物料。
一些实施例中，传动机构30的运动端上还设置有第二相机固定位，第二相机固定位用于定位和固定第二相机50，如此，实现第二相机50和传动机构30的运动端的固定连接。
一些实施例中，传动机构30的固定端与载物台10固定连接，在动力吸附装置的动力作用下，传动机构30的运动端能够协同第二相机50和待组装物料，相对于载物台10进行预设运动。
以下结合图2介绍本申请实施例提供的一种视觉引导组装方法，应用于物料组装系统，图2为本申请实施例提供的一种视觉引导组装方法的流程示意图，请参考图2，本申请实施例提供的一种视觉引导组装方法包括：
S201.获取待组装物料的第一坐标信息、本体物料的第二坐标信息和待组装物料的旋转坐标信息。
本申请实施例中，第一坐标信息包括第一传动机构标定坐标和第一相机标定坐标，以下结合图3介绍本申请实施例提供的一种获取待组装物料的第一坐标信息的方法，图3为本申请实施例提供的一种获取待组装物料的第一坐标信息方法的流程示意图，请参考图3，本申请实施例提供的一种获取待组装物料的第一坐标信息方法包括：
S301.控制传动机构30的运动端协同待组装物料进行第一预设次第一相机标定运动。
一些实施例中，控制物料吸附端31吸附待组装物料，控制传动机构30的运动端协同待组装物料进行第一预设次第一相机标定运动，使待组装物料分别运动至第一相机40视野中的n个标定点。
一些实施例中，n个标定点沿x和y方向均匀排布，第一预设次可以为9次，相应的，n可以为9，优选的，9个标定点沿田字形排布。其中，x和y方向可以分别为载物台10的长度方向和宽度方向。
一些实施例中，在第一预设次为9次的情况下，具体的，控制传动机构30的运动端协同待组装物料进行第一次第一相机标定运动，使待组装物料运动至第一相机40视野中的第一个标定点；之后，控制传动机构30的运动端协同待组装物料进行第二次第一相机标定运动，使待组装物料运动至第一相机40视野中的第二个标定点；之后，控制传动机构30的运动端协同待组装物料进行第三次第一相机标定运动，使待组装物料运动至第一相机40视野中的第三个标定点，如此重复执行至控制传动机构30的运动端协同待组装物料进行第九次第一相机标定运动，使待组装物料运动至第一相机40视野中的第九个标定点。
S302.在第一预设次第一相机标定运动过程中，确定待组装物料在传动机构物理坐标系中的第一传动机构标定坐标，以及待组装物料在第一相机物理坐标系中的第一相机标定坐标。
一些实施例中，在第一预设次第一相机标定运动的过程中，采集第一预设次第一相机标定运动对应的待组装物料在传动机构物理坐标系中的第一传动机构标定坐标，以及待组装物料在第一相机物理坐标系中的第一相机标定坐标，其中，第一相机标定坐标是通过第一相机40对待组装物料进行拍照得到的。
一些实施例中，在第一预设次为9次的情况下，相应的，采集9个第一传动机构标定坐标，以及9个第一相机标定坐标。
本申请实施例中，第二坐标信息包括第二传动机构标定坐标和第二相机标定坐标，以下结合图4介绍本申请实施例提供的一种获取本体物料的第二坐标信息的方法，图4为本申请实施例提供的一种获取本体物料的第二坐标信息方法的流程示意图，请参考图4，本申请实施例提供的一种获取本体物料的第二坐标信息方法包括：
S401.控制传动机构30的运动端协同第二相机50进行第二预设次第二相机标定运动。
一些实施例中，在本体物料与载物台10固定连接的情况下，控制传动机构30的运动端协同第二相机50进行第二预设次第二相机标定运动，使本体物料分别相对运动至第二相机50视野中的m个标定点。
一些实施例中，m个标定点沿x和y方向均匀排布，第二预设次可以为9次，相应的，m可以为9，优选的，9个标定点沿田字形排布。其中，x和y方向可以分别为载物台10的长度方向和宽度方向。
一些实施例中，在第二预设次为9次的情况下，具体的，控制传动机构30的运动端协同第二相机50进行第一次第二相机标定运动，使本体物料相对运动至第二相机50视野中的第一个标定点；之后，控制传动机构30的运动端协同第二相机50进行第二次第二相机标定运动，使本体物料相对运动至第二相机50视野中的第二个标定点；之后，控制传动机构30的运动端协同第二相机50进行第三次第二相机标定运动，使本体物料相对运动至第二相机50视野中的第三个标定点，如此重复执行至控制传动机构30的运动端协同第二相机50进行第九次第二相机标定运动，使本体物料相对运动至第二相机50视野中的第九个标定点。
S402.在第二预设次第二相机标定运动过程中，确定本体物料在传动机构物理坐标系中的第二传动机构标定坐标，以及本体物料在第二相机物理坐标系中的第二相机标定坐标。
一些实施例中，在第二预设次第二相机标定运动的过程中，采集第二预设次第二相机标定运动对应的本体物料在传动机构物理坐标系中的第二传动机构标定坐标，以及本体物料在第二相机物理坐标系中的第二相机标定坐标，其中，第二相机标定坐标是通过第二相机50对本体物料进行拍照得到的。
一些实施例中，在第二预设次为9次的情况下，相应的，采集9个第二传动机构标定坐标，以及9个第二相机标定坐标。
S202.基于待组装物料的第一坐标信息和本体物料的第二坐标信息，得到第一相机40的第一标定信息和第二相机50的第二标定信息。
一些实施例中，基于待组装物料的第一坐标信息，得到第一相机40的第一标定信息；基于本体物料的第二坐标信息，得到第二相机50的第二标定信息。使用待组装物料和本体物料对第一相机40和第二相机50进行分别标定，标定成本低、操作简单，且标定精度高。
以下结合图5介绍本申请实施例提供的一种确定第一标定信息和第二标定信息的方法，图5为本申请实施例提供的一种确定第一标定信息和第二标定信息方法的流程示意图，请参考图5，本申请实施例提供的一种确定第一标定信息和第二标定信息的方法包括：
S501.对第一传动机构标定坐标和第一相机标定坐标进行第一标定计算，得到第一标定信息，第一标定信息表征第一相机物理坐标与传动机构物理坐标间的第一映射关系。
一些实施例中，在得到第一传动机构标定坐标和第一相机标定坐标的情况下，基于第一传动机构标定坐标和第一相机标定坐标进行第一标定计算，得到第一相机40的第一标定信息。其中，第一标定计算可以通过标定算法实现的。
具体的，第一标定信息可以为第一转换矩阵，通过第一转换矩阵，可以实现第一相机物理坐标与传动机构物理坐标间的转换。
本申请实施例中，在S501之前，还包括：基于预设视觉标定算法，从物料组装系统中提取第一传动机构标定坐标和第一相机标定坐标。
一些实施例中，预设视觉标定算法用于第一传动机构标定坐标和第一相机标定坐标的自动快速提取，如此，能够减少人工误差，提高组装精度和效率。
S502.对第二传动机构标定坐标和第二相机标定坐标进行第二标定计算，得到第二标定信息，第二标定信息表征第二相机物理坐标与传动机构物理坐标间的第二映射关系。
一些实施例中，在得到第二传动机构标定坐标和第二相机标定坐标的情况下，基于第二传动机构标定坐标和第二相机标定坐标进行第二标定计算，得到第二相机50的第二标定信息。其中，第二标定计算可以通过标定算法实现的。
具体的，第二标定信息可以为第二转换矩阵，通过第二转换矩阵，可以实现第二相机物理坐标与传动机构物理坐标间的转换。
本申请实施例中，在S502之前，还包括：基于预设视觉标定算法，从物料组装系统中提取第二传动机构标定坐标和第二相机标定坐标。
一些实施例中，预设视觉标定算法用于第二传动机构标定坐标和第二相机标定坐标的自动快速提取，如此，能够减少人工误差，提高组装精度和效率。
S203.对待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，旋转中心位置信息是基于第一标定信息确定的，旋转中心位置信息表征待组装物料的实际旋转中心位置。
本申请实施例中，旋转坐标信息表征传动机构30的运动端协同待组装物料进行第三预设次旋转运动的情况下，待组装物料在第一相机物理坐标系中的旋转坐标。
一些实施例中，控制物料吸附端31吸附待组装物料，控制传动机构30的运动端协同待组装物料进行第三预设次旋转运动，使待组装物料分别运动至第一相机40视野中的w个视觉点。
一些实施例中，w个视觉点均匀周向排布，第三预设次可以为12次，相应的，w可以为12，优选的，12个视觉点均匀周向排布，相邻视觉点间隔30°。
一些实施例中，在第三预设次为12次的情况下，具体的，控制传动机构30的运动端协同待组装物料进行第一次旋转运动，使待组装物料运动至第一相机40视野中的第一个视觉点；之后，控制传动机构30的运动端协同待组装物料进行第二次旋转运动，使待组装物料运动至第一相机40视野中的第二个视觉点；之后，控制传动机构30的运动端协同待组装物料进行第三次旋转运动，使待组装物料运动至第一相机40视野中的第三个视觉点，如此重复执行至控制传动机构30的运动端协同待组装物料进行第十二次旋转运动，使待组装物料运动至第一相机40视野中的第十二个视觉点。
一些实施例中，在第三预设次旋转运动的过程中，采集第三预设次旋转运动对应的待组装物料在第一相机物理坐标系中的旋转坐标，其中，待组装物料在第一相机物理坐标系中的旋转坐标是通过第一相机40对待组装物料进行拍照得到的。
一些实施例中，在第三预设次为12次的情况下，相应的，采集12个旋转坐标。
以下结合图6介绍本申请实施例提供的一种确定旋转中心位置信息的方法，图6为本申请实施例提供的一种确定旋转中心位置信息方法的流程示意图，请参考图6，本申请实施例提供的一种确定旋转中心位置信息的方法包括：
S601.对旋转坐标信息进行中心拟合处理，得到待组装物料在第一相机物理坐标系中的第一相机旋转中心位置。
一些实施例中，对第三预设次旋转运动对应的待组装物料在第一相机物理坐标系中的旋转坐标进行中心拟合处理，得到待组装物料在第一相机物理坐标系中的第一相机旋转中心位置。其中，中心拟合处理可以通过圆拟合算法具体实现。
一些实施例中，在第三预设次为12次的情况下，基于圆拟合算法对12个旋转坐标进行中心拟合，得到待组装物料在第一相机物理坐标系中的第一相机旋转中心位置。
S602.基于第一相机旋转中心位置和第一标定信息，确定待组装物料在传动机构物理坐标系中的实际旋转中心位置。
一些实施例中，基于第一标定信息，对第一相机旋转中心位置进行坐标转换计算，得到待组装物料在传动机构物理坐标系中的实际旋转中心位置，即得到旋转中心位置信息。
S204.基于标准组装件的位置信息、第一标定信息和第二标定信息，确定基准信息，标准组装件由待组装物料与本体物料组装而成，且其组装精度满足预设精度条件，基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度。
本申请实施例中，基准信息还包括基准组装位置、基准组装角度、第一视觉基准位置、第二视觉基准位置。
一些实施例中，选取待组装物料与本体物料的组装精度满足预设精度条件的标准组装件，通过物料工位20将标准组装件固定在载物台10上，控制传动机构30的运动端运动，至物料吸附端31能够与标准组装件中的待组装物料吸附，采集此时的物料吸附端31在传动机构物理坐标系中的位置和角度，物料吸附端31在传动机构物理坐标系中的位置和角度即分别为基准组装位置和基准组装角度；控制动力吸附装置开启，在动力吸附装置的动力作用下，物料吸附端31吸附待组装物料，控制传动机构30的运动端协同待组装物料运动至第一相机拍照位置，控制第一相机40对待组装物料进行拍照，采集待组装物料在第一相机物理坐标系中的位置和角度，基于第一标定信息，对待组装物料在第一相机物理坐标系中的位置和角度进行坐标转换计算，得到待组装物料在传动机构物理坐标系下的第一视觉基准位置和第一视觉基准角度，其中，第一相机拍照位置为第一相机40视野中的第一定点；控制传动机构30的运动端协同第二相机50运动至第二相机拍照位置，控制第二相机50对本体物料进行拍照，采集本体物料在第二相机物理坐标系中的位置和角度，基于第二标定信息，对本体物料在第二相机物理坐标系中的位置和角度进行坐标转换计算，得到本体物料在传动机构物理坐标系下的第二视觉基准位置和第二视觉基准角度，其中，第二相机拍照位置为第二定点，第二相机50位于第二相机拍照位置的情况下，本体物料在第二相机50的视野中。
至此，完成当前待组装物料和当前本体物料组装的准备工作。
S205.获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，第一当前视觉信息表征传动机构30位于第一相机拍照位置的情况下，基于第一标定信息确定的当前待组装物料的第一当前位置和第一当前角度；第二当前视觉信息表征传动机构30位于第二相机拍照位置的情况下，基于第二标定信息确定的当前本体物料的第二当前位置和第二当前角度。
一些实施例中，控制动力吸附装置开启，在动力吸附装置的动力作用下，传动机构30的物料吸附端31吸附当前待组装物料；控制传动机构30的运动端协同当前待组装物料运动至第一相机拍照位置，控制第一相机40对当前待组装物料进行拍照，采集当前待组装物料在第一相机物理坐标系中的位置和角度，基于第一标定信息，对当前待组装物料在第一相机物理坐标系中的位置和角度进行坐标转换计算，得到当前待组装物料在传动机构物理坐标系下的第一当前位置和第一当前角度。
一些实施例中，控制传动机构30的运动端协同第二相机50运动至第二相机拍照位置，控制第二相机50对当前本体物料进行拍照，采集当前本体物料在第二相机物理坐标系中的位置和角度，基于第二标定信息，对当前本体物料在第二相机物理坐标系中的位置和角度进行坐标转换计算，得到当前本体物料在传动机构物理坐标系下的第二当前位置和第二当前角度。
S206.对第一视觉基准角度、第二视觉基准角度、第一当前角度和第二当前角度进行角度偏差计算处理，得到当前视觉角度差，当前视觉角度差表征当前待组装物料和当前本体物料分别相对于标准组装件的总角度偏差。
一些实施例中，基于第一视觉基准角度、第二视觉基准角度、第一当前角度和第二当前角度进行角度偏差计算，得到当前视觉角度差，具体的，采用下式计算当前视觉角度差，其中，θ表征当前视觉角度差，R上C表征第二视觉基准角度，R上表征第二当前角度，R下表征第一当前角度，R下C表征第一视觉基准角度。
θ＝R上C-R上-R下+R下C
S207.基于旋转中心位置信息和当前视觉角度差，对第一当前位置进行位置补偿处理，得到当前待组装物料的当前补偿位置。
一些实施例中，基于旋转中心位置信息、当前视觉角度差和第一当前位置进行位置补偿计算，得到当前待组装物料的当前补偿位置，具体的，采用下式计算当前补偿位置，其中，(X′下,Y′下)表征当前补偿位置，θ表征当前视觉角度差，(X下,Y下)表征当前待组装物料的第一当前位置，(X下0,Y下0)表征旋转中心位置信息，请参照图7。
X′下＝cosθ*(X下-X下0)-sinθ*(Y下-Y下0)+X下0
Y′下＝cosθ*(Y下-Y下0)+sinθ*(X下-X下0)+Y下0
S208.基于基准信息、当前补偿位置、第二当前位置和当前视觉角度差，确定当前待组装物料的目标位置和目标角度，目标位置和目标角度用于指示当前待组装物料和当前本体物料的组装。
一些实施例中，基于第一当前视觉信息、第二当前视觉信息和基准信息计算目标位置和目标角度，能够实现第一相机40和第二相机50各拍照一次即可完成角度和平移的补偿，提高物料的组装效率。
以下结合图8介绍本申请实施例提供的一种确定当前待组装物料的目标位置和目标角度的方法，图8为本申请实施例提供的一种确定当前待组装物料的目标位置和目标角度方法的流程示意图，请参考图8，本申请实施例提供的一种确定当前待组装物料的目标位置和目标角度的方法包括：
S801.基于基准组装位置、第二当前位置、第二视觉基准位置、当前补偿位置和第一视觉基准位置，确定当前待组装物料的目标位置。
一些实施例中，基于基准组装位置、第二当前位置、第二视觉基准位置、当前补偿位置和第一视觉基准位置进行目标位置的计算，得到当前待组装物料的目标位置，具体的，采用下式计算当前待组装物料的目标位置，其中，(X下目标,Y下目标)表征当前待组装物料的目标位置，(Xa,Ya)表征基准组装位置，(X上,Y上)表征当前本体物料的第二当前位置，(X上C,Y上C)表征第二视觉基准位置，(X′下,Y′下)表征当前补偿位置，(X下C,Y下C)表征第一视觉基准位置。
X下目标＝Xa+X上-X上C-X下′+X下C
Y下目标＝Ya+Y上-Y上C-Y下′+Y下C
S802.基于基准组装角度和当前视觉角度差，确定当前待组装物料的目标角度。
一些实施例中，基于基准组装角度和当前视觉角度差进行目标角度的计算，得到当前待组装物料的目标角度，具体的，采用下式计算当前待组装物料的目标角度，其中，θ下目标表征当前待组装物料的目标角度，Ra表征基准组装角度，θ表征当前视觉角度差。
θ下目标＝Ra+θ
本申请实施例中，在基于基准信息、当前补偿位置、第二当前位置和当前视觉角度差，确定当前待组装物料的目标位置和目标角度之后，方法还包括：
控制传动机构30的运动端带动当前待组装物料进行目标运动，以使当前待组装物料运动至目标位置和目标角度。如此，实现当前待组装物料和当前本体物料的组装。
本申请实施例提供的视觉引导组装方法，具有如下有益效果：
1.基于待组装物料的第一坐标信息和本体物料的第二坐标信息，得到第一相机40的第一标定信息和第二相机50的第二标定信息，使用待组装物料和本体物料对第一相机40和第二相机50进行分别标定，标定成本低、操作简单，且标定精度高。
2.通过第一相机40和第二相机50共同进行视觉引导，能够解决因待组装物料和本体物料本身的尺寸误差、位置和角度偏差而引起的组装不良的问题，能够提高待组装物料和本体物料的组装精度和效率。
3.基于第一当前视觉信息、第二当前视觉信息和基准信息计算目标位置和目标角度，能够实现第一相机40和第二相机50各拍照一次即可完成角度和平移的补偿，提高物料的组装效率。
4.基于预设视觉标定算法，提取第一传动机构标定坐标和第一相机标定坐标，以及第二传动机构标定坐标和第二相机标定坐标，能够减少人工误差，提高组装精度和效率。
本申请实施例还提供了一种视觉引导组装装置，请参见图9，本申请实施例提供的一种视觉引导组装装置包括：
第一获取模块910：用于获取所述待组装物料的第一坐标信息、所述本体物料的第二坐标信息和所述待组装物料的旋转坐标信息。
第一处理模块920：用于基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机40的第一标定信息和所述第二相机50的第二标定信息。
第二处理模块930：用于对所述待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，所述旋转中心位置信息是基于所述第一标定信息确定的，所述旋转中心位置信息表征所述待组装物料的实际旋转中心位置。
第三处理模块940：用于基于标准组装件的位置信息、所述第一标定信息和所述第二标定信息，确定基准信息，所述标准组装件由所述待组装物料与所述本体物料组装而成，且其组装精度满足预设精度条件，所述基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度。
第二获取模块950：用于获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，所述第一当前视觉信息表征所述传动机构30位于所述第一相机拍照位置的情况下，基于所述第一标定信息确定的所述当前待组装物料的第一当前位置和第一当前角度；所述第二当前视觉信息表征所述传动机构30位于所述第二相机拍照位置的情况下，基于所述第二标定信息确定的所述当前本体物料的第二当前位置和第二当前角度。
第四处理模块960：用于对所述第一视觉基准角度、所述第二视觉基准角度、所述第一当前角度和所述第二当前角度进行角度偏差计算处理，得到当前视觉角度差，所述当前视觉角度差表征所述当前待组装物料和所述当前本体物料分别相对于所述标准组装件的总角度偏差。
第五处理模块970：用于基于所述旋转中心位置信息和所述当前视觉角度差，对所述第一当前位置进行位置补偿处理，得到所述当前待组装物料的当前补偿位置。
第六处理模块980：用于基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，所述目标位置和目标角度用于指示所述当前待组装物料和所述当前本体物料的组装。
本申请实施例中，第一获取模块910包括：
第一控制单元：用于控制传动机构30的运动端协同待组装物料进行第一预设次第一相机标定运动。
第一处理单元：用于在第一预设次第一相机标定运动过程中，确定待组装物料在传动机构物理坐标系中的第一传动机构标定坐标，以及待组装物料在第一相机物理坐标系中的第一相机标定坐标。
本申请实施例中，第一获取模块910还包括：
第二控制单元：用于控制传动机构30的运动端协同第二相机50进行第二预设次第二相机标定运动。
第二处理单元：用于在第二预设次第二相机标定运动过程中，确定本体物料在传动机构物理坐标系中的第二传动机构标定坐标，以及本体物料在第二相机物理坐标系中的第二相机标定坐标。
本申请实施例中，第一处理模块920包括：
第三处理单元：用于对第一传动机构标定坐标和第一相机标定坐标进行第一标定计算，得到第一标定信息，第一标定信息表征第一相机物理坐标与传动机构物理坐标间的第一映射关系。
第四处理单元：用于对第二传动机构标定坐标和第二相机标定坐标进行第二标定计算，得到第二标定信息，第二标定信息表征第二相机物理坐标与传动机构物理坐标间的第二映射关系。
本申请实施例中，第二处理模块930包括：
第五处理单元：用于对旋转坐标信息进行中心拟合处理，得到待组装物料在第一相机物理坐标系中的第一相机旋转中心位置。
第六处理单元：用于基于第一相机旋转中心位置和第一标定信息，确定待组装物料在传动机构物理坐标系中的实际旋转中心位置。
本申请实施例中，第六处理模块980包括：
第七处理单元：用于基于基准组装位置、第二当前位置、第二视觉基准位置、当前补偿位置和第一视觉基准位置，确定当前待组装物料的目标位置。
第八处理单元：用于基于基准组装角度和当前视觉角度差，确定当前待组装物料的目标角度。
本申请实施例中，第六处理模块980之后，还包括：
控制模块：用于控制传动机构30的运动端带动当前待组装物料进行目标运动，以使当前待组装物料运动至目标位置和目标角度。
本申请实施例中，第三处理单元之前，还包括：
第一提取单元：用于基于预设视觉标定算法，从物料组装系统中提取第一传动机构标定坐标和第一相机标定坐标。
本申请实施例中，第四处理单元之前，还包括：
第二提取单元：用于基于预设视觉标定算法，从物料组装系统中提取第二传动机构标定坐标和第二相机标定坐标。
如上所述的装置实施例中的装置与方法实施例基于同样的申请构思。
请参考图10，本申请实施例提供了一种用于实现上述视觉引导组装方法的电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的视觉引导组装方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行，即上述电子设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。其中，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
图10是本申请实施例提供的一种用于实现上述视觉引导组装方法的电子设备的硬件结构框图。如图10所示，该电子设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1010(处理器1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030，一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中，存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器1010可以设置为与存储介质1020通信，在电子设备1000上执行存储介质1020中的一系列指令操作。电子设备1000还可以包括一个或一个以上电源1060，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1040，和/或，一个或一个以上操作系统1021，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
处理器1010可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1000的通信供应商提供的无线网络。在一个实例中，输入输出接口1040包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1040可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
操作系统1021可以包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备1000还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于电子设备之中以保存用于实现方法实施例中一种视觉引导组装方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的视觉引导组装方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的方法。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视觉引导组装方法，其特征在于，应用于物料组装系统，所述物料组装系统包括载物台、第一相机、传动机构和第二相机，所述第一相机与所述载物台固定连接，所述载物台用于固定本体物料，所述传动机构的固定端与所述载物台固定连接，所述传动机构的运动端用于固定待组装物料和所述第二相机，所述方法包括：
获取所述待组装物料的第一坐标信息、所述本体物料的第二坐标信息和所述待组装物料的旋转坐标信息；
基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机的第一标定信息和所述第二相机的第二标定信息；
对所述待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，所述旋转中心位置信息是基于所述第一标定信息确定的，所述旋转中心位置信息表征所述待组装物料的实际旋转中心位置；
基于标准组装件的位置信息、所述第一标定信息和所述第二标定信息，确定基准信息，所述标准组装件由所述待组装物料与所述本体物料组装而成，且其组装精度满足预设精度条件，所述基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度；
获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，所述第一当前视觉信息表征所述传动机构位于所述第一相机拍照位置的情况下，基于所述第一标定信息确定的所述当前待组装物料的第一当前位置和第一当前角度；所述第二当前视觉信息表征所述传动机构位于所述第二相机拍照位置的情况下，基于所述第二标定信息确定的所述当前本体物料的第二当前位置和第二当前角度；
对所述第一视觉基准角度、所述第二视觉基准角度、所述第一当前角度和所述第二当前角度进行角度偏差计算处理，得到当前视觉角度差，所述当前视觉角度差表征所述当前待组装物料和所述当前本体物料分别相对于所述标准组装件的总角度偏差；
基于所述旋转中心位置信息和所述当前视觉角度差，对所述第一当前位置进行位置补偿处理，得到所述当前待组装物料的当前补偿位置；
基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，所述目标位置和目标角度用于指示所述当前待组装物料和所述当前本体物料的组装。
2.根据权利要求1所述的视觉引导组装方法，其特征在于，所述基准信息还包括基准组装位置、基准组装角度、第一视觉基准位置、第二视觉基准位置，所述基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，包括：
基于所述基准组装位置、所述第二当前位置、所述第二视觉基准位置、所述当前补偿位置和所述第一视觉基准位置，确定所述当前待组装物料的目标位置；
基于所述基准组装角度和所述当前视觉角度差，确定所述当前待组装物料的目标角度。
3.根据权利要求1所述的视觉引导组装方法，其特征在于，在所述基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度之后，所述方法还包括：
控制所述传动机构的运动端带动所述当前待组装物料进行目标运动，以使所述当前待组装物料运动至所述目标位置和目标角度。
4.根据权利要求1所述的视觉引导组装方法，其特征在于，所述第一坐标信息包括第一传动机构标定坐标和第一相机标定坐标，所述获取所述待组装物料的第一坐标信息，包括：
控制所述传动机构的运动端协同所述待组装物料进行第一预设次第一相机标定运动；
在所述第一预设次第一相机标定运动过程中，确定所述待组装物料在所述传动机构物理坐标系中的所述第一传动机构标定坐标，以及所述待组装物料在所述第一相机物理坐标系中的所述第一相机标定坐标。
5.根据权利要求4所述的视觉引导组装方法，其特征在于，所述第二坐标信息包括第二传动机构标定坐标和第二相机标定坐标，获取所述本体物料的第二坐标信息，包括：
控制所述传动机构的运动端协同所述第二相机进行第二预设次第二相机标定运动；
在所述第二预设次第二相机标定运动过程中，确定所述本体物料在所述传动机构物理坐标系中的所述第二传动机构标定坐标，以及所述本体物料在所述第二相机物理坐标系中的所述第二相机标定坐标。
6.根据权利要求5所述的视觉引导组装方法，其特征在于，所述基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到所述第一相机的第一标定信息和所述第二相机的第二标定信息，包括：
对所述第一传动机构标定坐标和所述第一相机标定坐标进行第一标定计算，得到所述第一标定信息，所述第一标定信息表征第一相机物理坐标与所述传动机构物理坐标间的第一映射关系；
对所述第二传动机构标定坐标和所述第二相机标定坐标进行第二标定计算，得到所述第二标定信息，所述第二标定信息表征所述第二相机物理坐标与所述传动机构物理坐标间的第二映射关系。
7.根据权利要求1所述的视觉引导组装方法，其特征在于，所述旋转坐标信息表征所述传动机构的运动端协同所述待组装物料进行第三预设次旋转运动的情况下，所述待组装物料在第一相机物理坐标系中的旋转坐标，所述对所述待组装物料的旋转坐标信息进行中心拟合处理，确定旋转中心位置信息，包括：
对所述旋转坐标信息进行中心拟合处理，得到所述待组装物料在所述第一相机物理坐标系中的第一相机旋转中心位置；
基于所述第一相机旋转中心位置和所述第一标定信息，确定所述待组装物料在所述传动机构物理坐标系中的实际旋转中心位置。
8.根据权利要求6所述的视觉引导组装方法，其特征在于，所述对所述第一传动机构标定坐标和所述第一相机标定坐标进行第一标定计算，得到所述第一标定信息之前，所述方法还包括：
基于预设视觉标定算法，从所述物料组装系统中提取所述第一传动机构标定坐标和所述第一相机标定坐标。
9.根据权利要求8所述的视觉引导组装方法，其特征在于，所述对所述第二传动机构标定坐标和所述第二相机标定坐标进行第二标定计算，得到所述第二标定信息之前，所述方法还包括：
基于预设视觉标定算法，从所述物料组装系统中提取所述第二传动机构标定坐标和所述第二相机标定坐标。
10.一种视觉引导组装装置，其特征在于，所述装置包括：
第一获取模块：用于获取待组装物料的第一坐标信息、本体物料的第二坐标信息和所述待组装物料的旋转坐标信息；
第一处理模块：用于基于所述待组装物料的第一坐标信息和所述本体物料的第二坐标信息，得到第一相机的第一标定信息和第二相机的第二标定信息；
第二处理模块：用于对所述待组装物料的旋转坐标信息进行中心拟合处理，得到旋转中心位置信息，所述旋转中心位置信息是基于所述第一标定信息确定的，所述旋转中心位置信息表征所述待组装物料的实际旋转中心位置；
第三处理模块：用于基于标准组装件的位置信息、所述第一标定信息和所述第二标定信息，确定基准信息，所述标准组装件由所述待组装物料与所述本体物料组装而成，且其组装精度满足预设精度条件，所述基准信息包括第一相机拍照位置、第一视觉基准角度、第二相机拍照位置和第二视觉基准角度；
第二获取模块：用于获取当前待组装物料的第一当前视觉信息和当前本体物料的第二当前视觉信息，所述第一当前视觉信息表征传动机构位于所述第一相机拍照位置的情况下，基于所述第一标定信息确定的所述当前待组装物料的第一当前位置和第一当前角度；所述第二当前视觉信息表征所述传动机构位于所述第二相机拍照位置的情况下，基于所述第二标定信息确定的所述当前本体物料的第二当前位置和第二当前角度；
第四处理模块：用于对所述第一视觉基准角度、所述第二视觉基准角度、所述第一当前角度和所述第二当前角度进行角度偏差计算处理，得到当前视觉角度差，所述当前视觉角度差表征所述当前待组装物料和所述当前本体物料分别相对于所述标准组装件的总角度偏差；
第五处理模块：用于基于所述旋转中心位置信息和所述当前视觉角度差，对所述第一当前位置进行位置补偿处理，得到所述当前待组装物料的当前补偿位置；
第六处理模块：用于基于所述基准信息、所述当前补偿位置、所述第二当前位置和所述当前视觉角度差，确定所述当前待组装物料的目标位置和目标角度，所述目标位置和目标角度用于指示所述当前待组装物料和所述当前本体物料的组装。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211009940.8A CN115194773B (zh) | 2022-08-22 | 2022-08-22 | 一种视觉引导组装方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211009940.8A CN115194773B (zh) | 2022-08-22 | 2022-08-22 | 一种视觉引导组装方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115194773A CN115194773A (zh) | 2022-10-18 |
| CN115194773B true CN115194773B (zh) | 2024-01-05 |
Family
ID=83572405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211009940.8A Active CN115194773B (zh) | 2022-08-22 | 2022-08-22 | 一种视觉引导组装方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115194773B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116100145B (zh) * | 2023-04-10 | 2023-07-07 | 中科德迈(沈阳)激光技术有限公司 | 水导激光定位方法、装置、存储介质和水导激光设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109719734A (zh) * | 2019-03-12 | 2019-05-07 | 湖南大学 | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 |
| WO2020121399A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | ロボット制御システム及びロボット制御方法 |
| CN112894823A (zh) * | 2021-02-08 | 2021-06-04 | 珞石（山东）智能科技有限公司 | 一种基于视觉伺服的机器人高精度装配方法 |
| CN114290016A (zh) * | 2021-12-21 | 2022-04-08 | 燕山大学 | 一种基于双目视差计算的木工家具高精度装配系统及方法 |
| CN114545862A (zh) * | 2022-02-25 | 2022-05-27 | 浪潮电子信息产业股份有限公司 | 一种夹具作业点位确定方法、装置、设备及存储介质 |
| CN114888805A (zh) * | 2022-05-23 | 2022-08-12 | 广东工业大学 | 轮胎模具字符图案的机器人视觉自动获取方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11065768B2 (en) * | 2018-11-01 | 2021-07-20 | TE Connectivity Services Gmbh | Automatic calibration for camera-robot system with tool offsets |
-
2022
- 2022-08-22 CN CN202211009940.8A patent/CN115194773B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020121399A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | ロボット制御システム及びロボット制御方法 |
| CN109719734A (zh) * | 2019-03-12 | 2019-05-07 | 湖南大学 | 一种机器人视觉引导的手机闪光灯组装系统及组装方法 |
| CN112894823A (zh) * | 2021-02-08 | 2021-06-04 | 珞石（山东）智能科技有限公司 | 一种基于视觉伺服的机器人高精度装配方法 |
| CN114290016A (zh) * | 2021-12-21 | 2022-04-08 | 燕山大学 | 一种基于双目视差计算的木工家具高精度装配系统及方法 |
| CN114545862A (zh) * | 2022-02-25 | 2022-05-27 | 浪潮电子信息产业股份有限公司 | 一种夹具作业点位确定方法、装置、设备及存储介质 |
| CN114888805A (zh) * | 2022-05-23 | 2022-08-12 | 广东工业大学 | 轮胎模具字符图案的机器人视觉自动获取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115194773A (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111442722B (zh) | 定位方法、装置、存储介质及电子设备 | |
| CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
| JP7065024B2 (ja) | 機械の自動故障診断および回復 | |
| CN115194773B (zh) | 一种视觉引导组装方法及装置 | |
| EP3543650A1 (en) | Locating method, terminal and server | |
| CN110640746A (zh) | 机器人的坐标系标定及定位方法、系统、设备、介质 | |
| CN107808400B (zh) | 一种摄像机标定系统及其标定方法 | |
| CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| US20010053204A1 (en) | Method and apparatus for relative calibration of a mobile X-ray C-arm and an external pose tracking system | |
| CN110987021B (zh) | 一种基于转台基准的惯性视觉相对姿态标定方法 | |
| CN114071008A (zh) | 一种图像采集装置和图像采集方法 | |
| CN111445521A (zh) | 目标工件位置确定方法、装置、终端及可读存储介质 | |
| CN113510697B (zh) | 机械手定位方法、装置、系统、电子装置和存储介质 | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| CN109591051A (zh) | 复合机器人作业精度补偿方法、系统及存储介质 | |
| CN113256728B (zh) | Imu设备参数的标定方法及装置、存储介质、电子装置 | |
| CN112154480B (zh) | 可移动平台的定位方法、装置、可移动平台及存储介质 | |
| CN113110433A (zh) | 机器人姿态调整方法、装置、设备及存储介质 | |
| CN112947687A (zh) | 设备控制方法、装置、存储介质及电子设备 | |
| CN111461014A (zh) | 基于深度学习的天线姿态参数检测方法、装置及存储介质 | |
| CN113313772B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
| WO2022205207A1 (zh) | 云台及其构型识别方法、装置 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN110842917B (zh) | 串并联机械的机械参数的标定方法、电子装置及存储介质 | |
| CN103269400A (zh) | 一种使移动通讯设备的系统屏幕翻转的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 215011 No. 2, Kunlunshan Road, high tech Zone, Suzhou, Jiangsu Applicant after: Suzhou Jiaqishi Technology Co.,Ltd. Address before: 215011 No. 2, Kunlunshan Road, high tech Zone, Suzhou, Jiangsu Applicant before: SUZHOU JIAQISHI INFORMATION SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |