CN114378825B - 一种多相机视觉定位方法、系统及电子设备 - Google Patents
一种多相机视觉定位方法、系统及电子设备 Download PDFInfo
- Publication number
- CN114378825B CN114378825B CN202210074211.4A CN202210074211A CN114378825B CN 114378825 B CN114378825 B CN 114378825B CN 202210074211 A CN202210074211 A CN 202210074211A CN 114378825 B CN114378825 B CN 114378825B
- Authority
- CN
- China
- Prior art keywords
- robot
- gesture
- workpiece
- attached
- laminating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开一种多相机视觉定位方法、系统及电子设备，涉及机器人视觉控制技术领域。多相机视觉定位方法包括：控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；可以减少生产节拍，提高贴合效率，提高了多相机系统的稳定性和可靠性。
Description
技术领域
本发明涉及机器人视觉控制技术领域，尤其涉及一种多相机视觉定位方法、系统及电子设备。
背景技术
机器人视觉控制是机器人领域的重要研究方向，也是当前的研究热点之一。机器人视觉控制是指机器人通过视觉系统接收和处理图像，并通过视觉系统的反馈信息进行相应的操作。机器人视觉控制的系统按照摄像机与机器人的相对位置分为Eye-to-Hand系统和Eye-in-Hand系统。Eye-to-Hand系统将摄像机固定安装于机器人本体之外，Eye-to-Hand，摄像机固定，与机器人基坐标系相对位置不变。
随着工业化水平与科技的不断发展, 劳动力成本增加, 对定位装配的精度和自动化要求也越来越高。基于机器视觉技术的工业机器人定位具有定位精度高、自动化和智能化水平高、劳动力成本低等优点, 因此在定位装配领域有着广泛的应用。
由于工厂不同产品差异性增大，对视觉引导机器人设备的要求越来越高，对于一些大型的产品或者需要高精度装配的产品，需要使用多相机系统，而如何实现多相机配合使用而不影响生成节拍，需要将相机、机器人坐标系统一并计算。
目前采集的多相机系统一般是在工具坐标系下进行计算，贴合产品时需要先矫正角度，再矫正位置，这种方式会影响生产节拍、贴合精度及贴合效率，降低了多相机系统的稳定性和可靠性。
发明内容
本发明的目的在于提供一种多相机视觉定位方法、系统及电子设备，以解决现有采集的多相机系统一般是在工具坐标系下进行计算，贴合产品时需要先矫正角度，再矫正位置，这种方式会影响生产节拍、贴合精度及贴合效率，降低了多相机系统的稳定性和可靠性的问题。
第一方面，本发明提供一种多相机视觉定位方法，应用于多相机视觉定位系统，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括两个包含电荷耦合器件的相机、所述多相机视觉定位方法包括：
所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；
所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；
所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；
所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；
所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
采用上述技术方案的情况下，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。将相机、机器人贴合工件和机器人坐标系统一在机器人基坐标系下的在机器人贴合姿态数据，一次性计算出贴合目标位置，减少生产节拍，提高贴合效率，通过使用预先配置的第一姿态对应关系和第二姿态对应关系，实现机器人贴合待贴合件，该方法可用于各类产品的装配、视觉定位贴合等，提高了多相机系统的稳定性和可靠性。
在一种可能的实现方式中，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据，包括：
所述主控端通过一组所述相机组获取待贴合件预先拍照对应的第一位置图像；
所述主控端基于所述第一位置图像确定所述待贴合件的第一实际位置数据。
在一种可能的实现方式中，所述通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据，还包括：
所述主控端通过另一组所述相机组获取机器人贴合工件预先拍照对应的第二位置图像；
所述主控端基于所述第二位置图像确定所述机器人贴合工件的第二实际位置数据。
在一种可能的实现方式中，所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端基于所述第一姿态对应关系和第二姿态对应关系确定机器人姿态转换变化关系；
所述主控端基于所述机器人姿态转换变化关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
在一种可能的实现方式中，所述主控端基于所述机器人姿态转换变化关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端通过两组所述相机组确定待贴合件当前实际拍照对应的当前第一实际位置数据和机器人贴合工件的当前第二实际位置数据；
控制所述主控端基于所述当前第一实际位置数据、所述第一姿态对应关系、所述当前第二实际位置数据和所述第二姿态对应关系，确定第一实际姿态对应关系和第二实际姿态对应关系；
所述主控端根据所述第一姿态对应关系、所述第一实际姿态对应关系和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
在一种可能的实现方式中，所述主控端基于所述当前第一实际位置数据、所述第一姿态对应关系、所述当前第二实际位置数据和所述第二姿态对应关系，确定第一实际姿态对应关系和第二实际姿态对应关系，包括：
所述主控端根据所述当前第一实际位置数据和所述第一姿态对应关系，确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一实际姿态对应关系；
所述主控端根据所述当前第二实际位置数据和所述第二姿态对应关系，确定所述机器人与所述待贴合件进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二实际姿态对应关系。
在一种可能的实现方式中，所述主控端根据所述第一姿态对应关系、所述第一实际姿态对应关系和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端根据所述第一姿态对应关系和所述第一实际姿态对应关系，确定机械手姿态变化量；
所述主控端基于所述机械手姿态变化量和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
在一种可能的实现方式中，所述主控端基于所述机械手姿态变化量和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端将所述机械手姿态变化量映射至所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
第二方面，本发明提供了一种多相机视觉定位系统，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括连两个包含电荷耦合器件的相机；
两组所述相机组，用于确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；
所述机器人本体，用于确定预先抓取的所述待贴合件与所述机器人贴合工件的姿态信息；
所述机器人控制器，用于预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；
所述机器人控制器，还用于预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；
所述主控端，用于基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
第二方面提供的多相机视觉定位系统的有益效果与第一方面或第一方面任一可能的实现方式描述的多相机视觉定位方法的有益效果相同，此处不做赘述。
第三方面，本发明还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行第一方面任一可能的实现方式描述的多相机视觉定位方法。
第三方面提供的电子设备的有益效果与第一方面或第一方面任一可能的实现方式描述的多相机视觉定位方法的有益效果相同，此处不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本申请实施例提供的一种多视觉定位系统的结构示意图；
图2示出了本申请实施例提供的一种多相机视觉定位方法的流程示意图；
图3示出了本申请实施例提供的另一种多相机视觉定位方法的流程示意图；
图4为本发明实施例提供的一种电子设备的硬件结构示意图；
图5为本发明实施例提供的芯片的结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
图1示出了本申请实施例提供的一种多视觉定位系统的结构示意图，如图1所示，所述多相机视觉定位系统包括：通信连接的主控端101、机器人本体102、机器人控制器103，以及至少两组相机组104，每组所述相机组包括两个包含电荷耦合器件CCD的相机，
两组所述相机组，用于确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；
所述机器人本体，用于确定预先抓取的所述待贴合件与所述机器人贴合工件的姿态信息；
所述机器人控制器，用于预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；
所述机器人控制器，还用于预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；
所述主控端，用于基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
在本申请中，电荷耦合器件（Charge Coupled Device，CCD）能够将光线变为电荷并将电荷存储及转移，也可将存储之电荷取出使电压发生变化，因此是理想的CCD相机元件，以其构成的CCD相机具有体积小、重量轻、不受磁场影响、具有抗震动和撞击之特性而被广泛应用。
在本申请中，参见图1 ，该系统包括两组相机组104，每组所述相机组包括两个包含电荷耦合器件CCD的相机，也即是包括了四个CCD，分别为CCD1、CCD2、CCD3和CCD4，每个相机可以单独进行机器人手眼标定，得到相机图像坐标系到机器人坐标系的映射关系，从而得到图像坐标到机器人基坐标的转换关系。其中，在待贴合件为玻璃的情况下，CCD1和CCD3可以获取天侧矩形玻璃的两角，识别并计算出待识别件的第一实际位置数据（位置和角度），CCD2和CCD4可以获取机器人贴合工件的两角并计算出机器人贴合工件的第二实际位置数据（位置与角度）。
在本申请中，所述主控端可以是包含图像采集卡的主控端。
本发明实施例提供的多相机视觉定位方法，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。将相机、机器人贴合工件和机器人坐标系统一在机器人基坐标系下的在机器人贴合姿态数据，一次性计算出贴合目标位置，减少生产节拍，提高贴合效率，通过使用预先配置的第一姿态对应关系和第二姿态对应关系，实现机器人贴合待贴合件，该方法可用于各类产品的装配、视觉定位贴合等，提高了多相机系统的稳定性和可靠性。
图2示出了本申请实施例提供的一种多相机视觉定位方法的流程示意图，应用于多相机视觉定位系统，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括两个包含电荷耦合器件的相机，如图2所示，所述多相机视觉定位方法包括：
步骤201：所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据。
在本申请中，实际位置数据可以包括位置数据和角度数据。
步骤202：所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息。
在本申请中，姿态信息可以包括位置信息和角度信息。
步骤203：所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系。
步骤204：所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系。
步骤205：所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
在本申请中，电荷耦合器件（Charge Coupled Device，CCD）能够将光线变为电荷并将电荷存储及转移，也可将存储之电荷取出使电压发生变化，因此是理想的CCD相机元件，以其构成的CCD相机具有体积小、重量轻、不受磁场影响、具有抗震动和撞击之特性而被广泛应用。
本发明实施例提供的多相机视觉定位方法，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。将相机、机器人贴合工件和机器人坐标系统一在机器人基坐标系下的在机器人贴合姿态数据，一次性计算出贴合目标位置，减少生产节拍，提高贴合效率，通过使用预先配置的第一姿态对应关系和第二姿态对应关系，实现机器人贴合待贴合件，该方法可用于各类产品的装配、视觉定位贴合等，提高了多相机系统的稳定性和可靠性。
图3示出了本申请实施例提供的另一种多相机视觉定位方法的流程示意图，应用于多相机视觉定位系统，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括两个包含电荷耦合器件的相机，如图3所示，所述多相机视觉定位方法包括：
步骤301：所述主控端通过一组所述相机组获取待贴合件预先拍照对应的第一位置图像。
在本申请中，待贴合件可以是玻璃，还可以是其他物件，本申请实施例对此不做具体限定，在待贴合件为玻璃的情况下，可以预先拍照获取玻璃左上角位置Mark1InBase和玻璃右上角位置Mark2InBase。
步骤302：所述主控端基于所述第一位置图像确定所述待贴合件的第一实际位置数据。
在待贴合件为玻璃的情况下，可以预先拍照获取玻璃左上角位置Mark1InBase和玻璃右上角位置Mark2InBase，基于左上角位置Mark1InBase和玻璃右上角位置Mark2InBase计算出玻璃实际位置Mark10InBase。
步骤303：所述主控端通过另一组所述相机组获取机器人贴合工件预先拍照对应的第二位置图像。
在待贴合件为玻璃的情况下，可以预先拍照获取机器人贴合工件左上角位置Mark11InBase，右上角位置Mark22InBsae。
步骤304：所述主控端基于所述第二位置图像确定所述机器人贴合工件的第二实际位置数据。
在待贴合件为玻璃的情况下，可以预先拍照获取机器人贴合工件左上角位置Mark11InBase，右上角位置Mark22InBsae，基于左上角位置Mark11InBase和右上角位置Mark22InBsae计算出工件实际位置Mark20InBase。
步骤305：所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息。
在本申请中，可以预先示教机器人抓取玻璃拍照的姿态信息Tool10InBase与机器人贴合工件的姿态信息Tool20InBase。
步骤306：所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系。
在本申请中，可以基于机器人抓取玻璃的姿态信息Tool10InBase计算出抓取玻璃时机器人贴合工件的姿态与玻璃的姿态关系式Mark10InTool10。
步骤307：所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系。
在本申请中，可以基于机器人贴合工件的姿态信息Tool20InBase计算出进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系Mark20InTool20。
步骤308：所述主控端基于所述第一姿态对应关系和第二姿态对应关系确定机器人姿态转换变化关系。
步骤309：所述主控端基于所述机器人姿态转换变化关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
可选的，上述步骤309的具体实现可以包括以下子步骤：
子步骤309A：所述主控端通过两组所述相机组确定待贴合件当前实际拍照对应的当前第一实际位置数据和机器人贴合工件的当前第二实际位置数据。
在本申请中，可以实际拍照获取玻璃左上角位置Mark1"InBase，玻璃右上角位置Mark2"InBase，计算出第一实际位置数据（玻璃实际位置）Mark10"InBase。
预先拍照获取机器人贴合工件左上角位置Mark11"InBase，右上角位置Mark22"InBsae，并计算出机器人贴合工件的当前第二实际位置数据Mark20"InBase。
子步骤309B：控制所述主控端基于所述当前第一实际位置数据、所述第一姿态对应关系、所述当前第二实际位置数据和所述第二姿态对应关系，确定第一实际姿态对应关系和第二实际姿态对应关系。
上述子步骤309B的具体实现步骤可以包括：
子步骤S1：所述主控端根据所述当前第一实际位置数据和所述第一姿态对应关系，确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一实际姿态对应关系。
在本申请中，可以基于实际的第一实际位置数据Mark10"InBase和预先算出的第一姿态对应关系Mark10InTool10计算出第一实际姿态对应关系Tool10"InBase。
子步骤S2：所述主控端根据所述当前第二实际位置数据和所述第二姿态对应关系，确定所述机器人与所述待贴合件进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二实际姿态对应关系。
在本申请中，可以基于实际的第二实际位置数据Mark20"InBase和预先算出的第二姿态对应关系Mark20InTool20计算出第二实际姿态对应关系Tool20"InBase。
子步骤309C：所述主控端根据所述第一姿态对应关系、所述第一实际姿态对应关系和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
可选的，上述子步骤309C的具体实现过程可以包括以下子步骤：
子步骤C1：所述主控端根据所述第一姿态对应关系和所述第一实际姿态对应关系，确定机械手姿态变化量。
在本申请中，可以根据第一姿态对应关系和Tool10InBase和第一实际姿态对应关系Tool10"InBase计算出机械手姿态变化量Tool10"InTool10。
子步骤C2：所述主控端基于所述机械手姿态变化量和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
具体的，所述主控端将所述机械手姿态变化量Tool10"InTool10映射至所述第二实际姿态对应关系Tool20"InBase，确定最终的所述机器人贴合姿态数据Tool20'InBase，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
在本申请中，电荷耦合器件（Charge Coupled Device，CCD）能够将光线变为电荷并将电荷存储及转移，也可将存储之电荷取出使电压发生变化，因此是理想的CCD相机元件，以其构成的CCD相机具有体积小、重量轻、不受磁场影响、具有抗震动和撞击之特性而被广泛应用。
本发明实施例提供的多相机视觉定位方法，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。将相机、机器人贴合工件和机器人坐标系统一在机器人基坐标系下的在机器人贴合姿态数据，一次性计算出贴合目标位置，减少生产节拍，提高贴合效率，通过使用预先配置的第一姿态对应关系和第二姿态对应关系，实现机器人贴合待贴合件，该方法可用于各类产品的装配、视觉定位贴合等，提高了多相机系统的稳定性和可靠性。
本发明实施例中的电子设备可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本或者个人数字助理（personaldigital assistant，PDA）等，非移动电子设备可以为服务器、网络附属存储器（NetworkAttached Storage，NAS）、个人计算机（personalcomputer，PC）、电视机（television，TV）、柜员机或者自助机等，本发明实施例不作具体限定。
本发明实施例中的电子设备可以为具有操作系统的装置。该操作系统可以为安卓（Android）操作系统，可以为windows操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。
图4示出了本发明实施例提供的一种电子设备的硬件结构示意图。如图4所示，该电子设备400包括处理器410。
如图4所示，上述处理器410可以是一个通用中央处理器（central processingunit，CPU），微处理器，专用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。
如图4所示，上述电子设备400还可以包括通信线路440。通信线路440可包括一通路，在上述组件之间传送信息。
可选的，如图4所示，上述电子设备还可以包括通信接口420。通信接口420可以为一个或多个。通信接口420可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
可选的，如图4所示，该电子设备还可以包括存储器430。存储器430用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
如图4所示，存储器430可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器430可以是独立存在，通过通信线路440与处理器410相连接。存储器430也可以和处理器410集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
在具体实现中，作为一种实施例，如图4所示，处理器410可以包括一个或多个CPU，如图4中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图4所示，终端设备可以包括多个处理器，如图4中的第一处理器4101和第二处理器4102。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
图5是本发明实施例提供的芯片的结构示意图。如图5所示，该芯片500包括一个或两个以上（包括两个）处理器410。
可选的，如图5所示，该芯片还包括通信接口420和存储器430，存储器430可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器（non-volatile random access memory，NVRAM）。
在一些实施方式中，如图5所示，存储器430存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
在本发明实施例中，如图5所示，通过调用存储器存储的操作指令（该操作指令可存储在操作系统中），执行相应的操作。
如图5所示，处理器410控制终端设备中任一个的处理操作，处理器410还可以称为中央处理单元（central processing unit，CPU）。
如图5所示，存储器430可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器430的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图5中将各种总线都标为总线系统540。
如图5所示，上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（digital signal processing，DSP）、ASIC、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由终端设备执行的功能。
一方面，提供一种芯片，该芯片应用于终端设备中，芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，处理器用于运行指令，以实现上述实施例中由储备池计算模型的硬件实现方法执行的功能。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘（digital video disc，DVD）；还可以是半导体介质，例如，固态硬盘（solid state drive，SSD）。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”（comprising）一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种多相机视觉定位方法，其特征在于，应用于多相机视觉定位系统，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括两个包含电荷耦合器件的相机，所述多相机视觉定位方法包括：
所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；
所述主控端获取所述机器人本体预先抓取所述待贴合件时所述待贴合件的姿态信息与所述机器人贴合工件的姿态信息；
所述主控端控制所述机器人控制器预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；
所述主控端控制所述机器人控制器预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；
所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
2.根据权利要求1所述的多相机视觉定位方法，其特征在于，所述主控端通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据，包括：
所述主控端通过一组所述相机组获取待贴合件预先拍照对应的第一位置图像；
所述主控端基于所述第一位置图像确定所述待贴合件的第一实际位置数据。
3.根据权利要求2所述的多相机视觉定位方法，其特征在于，所述通过两组所述相机组确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据，还包括：
所述主控端通过另一组所述相机组获取机器人贴合工件预先拍照对应的第二位置图像；
所述主控端基于所述第二位置图像确定所述机器人贴合工件的第二实际位置数据。
4.根据权利要求1所述的多相机视觉定位方法，其特征在于，所述主控端基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端基于所述第一姿态对应关系和第二姿态对应关系确定机器人姿态转换变化关系；
所述主控端基于所述机器人姿态转换变化关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
5.根据权利要求4所述的多相机视觉定位方法，其特征在于，所述主控端基于所述机器人姿态转换变化关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端通过两组所述相机组确定待贴合件当前实际拍照对应的当前第一实际位置数据和机器人贴合工件的当前第二实际位置数据；
控制所述主控端基于所述当前第一实际位置数据、所述第一姿态对应关系、所述当前第二实际位置数据和所述第二姿态对应关系，确定第一实际姿态对应关系和第二实际姿态对应关系；
所述主控端根据所述第一姿态对应关系、所述第一实际姿态对应关系和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
6.根据权利要求5所述的多相机视觉定位方法，其特征在于，所述主控端基于所述当前第一实际位置数据、所述第一姿态对应关系、所述当前第二实际位置数据和所述第二姿态对应关系，确定第一实际姿态对应关系和第二实际姿态对应关系，包括：
所述主控端根据所述当前第一实际位置数据和所述第一姿态对应关系，确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一实际姿态对应关系；
所述主控端根据所述当前第二实际位置数据和所述第二姿态对应关系，确定所述机器人与所述待贴合件进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二实际姿态对应关系。
7.根据权利要求5所述的多相机视觉定位方法，其特征在于，所述主控端根据所述第一姿态对应关系、所述第一实际姿态对应关系和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端根据所述第一姿态对应关系和所述第一实际姿态对应关系，确定机械手姿态变化量；
所述主控端基于所述机械手姿态变化量和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
8.根据权利要求7所述的多相机视觉定位方法，其特征在于，所述主控端基于所述机械手姿态变化量和所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合，包括：
所述主控端将所述机械手姿态变化量映射至所述第二实际姿态对应关系，确定最终的所述机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合。
9.一种多相机视觉定位系统，其特征在于，所述多相机视觉定位系统包括：通信连接的主控端、机器人本体、机器人控制器，以及至少两组相机组，每组所述相机组包括连两个包含电荷耦合器件的相机；
两组所述相机组，用于确定待贴合件预先拍照对应的第一实际位置数据和机器人贴合工件的第二实际位置数据；
所述机器人本体，用于确定预先抓取的所述待贴合件与所述机器人贴合工件的姿态信息；
所述机器人控制器，用于预先基于所述待贴合件的姿态信息确定抓取待贴合件时所述机器人贴合工件的姿态与所述待贴合件的第一姿态对应关系；
所述机器人控制器，还用于预先基于所述机器人贴合工件的姿态信息确定进行贴合工件时所述机器人贴合工件的姿态与所述待贴合件的第二姿态对应关系；
所述主控端，用于基于所述第一姿态对应关系和第二姿态对应关系、所述第一实际位置数据和所述第二实际位置数据，确定所述待贴合件和所述机器人贴合工件的机器人在机器人基坐标系下的机器人贴合姿态数据，以供所述待贴合件和所述机器人贴合工件基于所述机器人贴合姿态数据实现贴合；
其中，所述机器人贴合姿态数据包括贴合角度数据和贴合位置数据。
10.一种电子设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行权利要求1-8任一所述的多相机视觉定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210074211.4A CN114378825B (zh) | 2022-01-21 | 2022-01-21 | 一种多相机视觉定位方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210074211.4A CN114378825B (zh) | 2022-01-21 | 2022-01-21 | 一种多相机视觉定位方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114378825A CN114378825A (zh) | 2022-04-22 |
| CN114378825B true CN114378825B (zh) | 2023-05-12 |
Family
ID=81203799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210074211.4A Active CN114378825B (zh) | 2022-01-21 | 2022-01-21 | 一种多相机视觉定位方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114378825B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116423528B (zh) * | 2023-06-13 | 2023-10-17 | 国网浙江省电力有限公司宁波供电公司 | 一种变压器油样品分拣方法及系统 |
| CN116494248B (zh) * | 2023-06-26 | 2023-08-29 | 深圳市长荣科机电设备有限公司 | 工业机器人的视觉定位方法 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| JP2010172986A (ja) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
| EP2602588A1 (en) * | 2011-12-06 | 2013-06-12 | Hexagon Technology Center GmbH | Position and Orientation Determination in 6-DOF |
| JP2015044257A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社デンソーアイティーラボラトリ | ロボット、ロボット制御方法、及びロボット制御プログラム |
| CN105014677A (zh) * | 2015-07-07 | 2015-11-04 | 西安交通大学 | 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法 |
| WO2016154995A1 (en) * | 2015-04-02 | 2016-10-06 | Abb Technology Ltd | Method for industrial robot commissioning, industrial robot system and control system using the same |
| DE102016114337A1 (de) * | 2015-08-06 | 2017-02-09 | Cognex Corporation | System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus |
| CN108406777A (zh) * | 2018-05-10 | 2018-08-17 | 华南理工大学 | 一种基于机器人的电子元件手眼协调插件机构 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN109048915A (zh) * | 2018-09-10 | 2018-12-21 | 浙江威步机器人技术有限公司 | 机械臂抓取控制方法、装置、存储介质及电子设备 |
| CN109152615A (zh) * | 2016-05-23 | 2019-01-04 | 马科外科公司 | 在机器人手术过程期间识别和跟踪物理对象的系统和方法 |
| US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
| CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
| CN111791235A (zh) * | 2020-07-17 | 2020-10-20 | 浙江大学 | 一种机器人多相机视觉惯性点线特征定位方法及装置 |
| CN112008696A (zh) * | 2020-09-07 | 2020-12-01 | 菲尼克斯(南京)智能制造技术工程有限公司 | 一种基于视觉的工业机器人系统 |
| JP6803633B1 (ja) * | 2019-10-18 | 2020-12-23 | 株式会社Ｍｕｊｉｎ | ロボット制御のためのキャリブレーション情報を検証及び更新するための方法並びに制御システム |
| CN112561999A (zh) * | 2020-12-21 | 2021-03-26 | 惠州市德赛西威汽车电子股份有限公司 | 一种贴框设备精准贴合方法及贴框设备 |
| WO2021063412A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市海柔创新科技有限公司 | 取、放货控制方法、装置、搬运装置及搬运机器人 |
| CN112743548A (zh) * | 2020-12-30 | 2021-05-04 | 上海媒智科技有限公司 | 一种统一两种机械臂手眼标定的方法及系统、终端 |
| CN113400298A (zh) * | 2021-05-10 | 2021-09-17 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017151669A1 (en) * | 2016-02-29 | 2017-09-08 | Aquifi, Inc. | System and method for assisted 3d scanning |
| KR102220564B1 (ko) * | 2019-05-30 | 2021-02-25 | 엘지전자 주식회사 | 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를구현하는 로봇 |
-
2022
- 2022-01-21 CN CN202210074211.4A patent/CN114378825B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| JP2010172986A (ja) * | 2009-01-28 | 2010-08-12 | Fuji Electric Holdings Co Ltd | ロボットビジョンシステムおよび自動キャリブレーション方法 |
| EP2602588A1 (en) * | 2011-12-06 | 2013-06-12 | Hexagon Technology Center GmbH | Position and Orientation Determination in 6-DOF |
| WO2013083650A1 (en) * | 2011-12-06 | 2013-06-13 | Hexagon Technology Center Gmbh | Position and orientation determination in 6-dof |
| JP2015044257A (ja) * | 2013-08-27 | 2015-03-12 | 株式会社デンソーアイティーラボラトリ | ロボット、ロボット制御方法、及びロボット制御プログラム |
| WO2016154995A1 (en) * | 2015-04-02 | 2016-10-06 | Abb Technology Ltd | Method for industrial robot commissioning, industrial robot system and control system using the same |
| CN105014677A (zh) * | 2015-07-07 | 2015-11-04 | 西安交通大学 | 基于Camshift视觉跟踪和D-H建模算法的视觉机械臂控制装置及方法 |
| DE102016114337A1 (de) * | 2015-08-06 | 2017-02-09 | Cognex Corporation | System und verfahren zum verknüpfen von koordinatenräumen maschinellen sehens in einer umgebung angeleiteten zusammenbaus |
| CN109152615A (zh) * | 2016-05-23 | 2019-01-04 | 马科外科公司 | 在机器人手术过程期间识别和跟踪物理对象的系统和方法 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN108406777A (zh) * | 2018-05-10 | 2018-08-17 | 华南理工大学 | 一种基于机器人的电子元件手眼协调插件机构 |
| CN109048915A (zh) * | 2018-09-10 | 2018-12-21 | 浙江威步机器人技术有限公司 | 机械臂抓取控制方法、装置、存储介质及电子设备 |
| US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
| CN111015665A (zh) * | 2019-03-07 | 2020-04-17 | 牧今科技 | 执行自动相机校准以进行机器人控制的方法和系统 |
| WO2021063412A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市海柔创新科技有限公司 | 取、放货控制方法、装置、搬运装置及搬运机器人 |
| JP6803633B1 (ja) * | 2019-10-18 | 2020-12-23 | 株式会社Ｍｕｊｉｎ | ロボット制御のためのキャリブレーション情報を検証及び更新するための方法並びに制御システム |
| CN111300422A (zh) * | 2020-03-17 | 2020-06-19 | 浙江大学 | 基于视觉图像的机器人工件抓取位姿误差补偿方法 |
| CN111791235A (zh) * | 2020-07-17 | 2020-10-20 | 浙江大学 | 一种机器人多相机视觉惯性点线特征定位方法及装置 |
| CN112008696A (zh) * | 2020-09-07 | 2020-12-01 | 菲尼克斯(南京)智能制造技术工程有限公司 | 一种基于视觉的工业机器人系统 |
| CN112561999A (zh) * | 2020-12-21 | 2021-03-26 | 惠州市德赛西威汽车电子股份有限公司 | 一种贴框设备精准贴合方法及贴框设备 |
| CN112743548A (zh) * | 2020-12-30 | 2021-05-04 | 上海媒智科技有限公司 | 一种统一两种机械臂手眼标定的方法及系统、终端 |
| CN113400298A (zh) * | 2021-05-10 | 2021-09-17 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多相机与IMU融合的室外机器人定位方法研究;董荣;《计算机工程与应用》;第58卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114378825A (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114378825B (zh) | 一种多相机视觉定位方法、系统及电子设备 | |
| JP6775263B2 (ja) | 測位方法及び装置 | |
| EP3228075B1 (en) | Sensor configuration switching for adaptation of video capturing frame rate | |
| US10375377B2 (en) | Information processing to generate depth information of an image | |
| CN110035228B (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
| CN105847665B (zh) | 双摄像头拍摄设备及双摄像头光轴校正装置 | |
| CN103837129B (zh) | 一种终端中的测距方法、装置及终端 | |
| WO2023011119A1 (zh) | 光学防抖方法、系统、计算机可读存储介质及电子设备 | |
| EP2267998B1 (en) | Movable mechanical section controlling device, method of controlling movable mechanical section, and program | |
| CN104268040B (zh) | 一种磁盘性能检测方法及装置 | |
| CN104994281A (zh) | 一种人脸畸变校正的方法及终端 | |
| CN104574397A (zh) | 一种图像处理的方法及移动终端 | |
| EP3125525A1 (en) | Method and system for enabling camera of mobile terminal to automatically adapt to scene | |
| CN103577789A (zh) | 检测方法和装置 | |
| CN104902170A (zh) | 一种拍照方法及终端 | |
| CN105009562A (zh) | 具有mems闭环补偿器的自动对焦照相机模块 | |
| US10425562B2 (en) | Three-dimensional image sensing module with a low z-height | |
| CN106303231A (zh) | 一种图像处理方法及终端 | |
| CN104914995A (zh) | 一种拍照方法及终端 | |
| CN113228616A (zh) | 具有多单元结构的相机模块和包括其的便携式通信装置 | |
| CN104869313A (zh) | 一种全景图像的拍摄方法及全景图像侦测系统 | |
| CN111031200A (zh) | 电子装置、摄像机及图像稳定化方法 | |
| US20100027899A1 (en) | Data encoding system, method thereof and digital image capturing device using same | |
| CN104935709A (zh) | 一种实现镜头兼容的方法及装置 | |
| EP3082045A1 (en) | Connection information sharing system, computer program, and connection information sharing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |