CN116086312A - 标志检测装置以及机器人示教系统 - Google Patents

标志检测装置以及机器人示教系统 Download PDF

Info

Publication number
CN116086312A
CN116086312A CN202211075980.2A CN202211075980A CN116086312A CN 116086312 A CN116086312 A CN 116086312A CN 202211075980 A CN202211075980 A CN 202211075980A CN 116086312 A CN116086312 A CN 116086312A
Authority
CN
China
Prior art keywords
marker
plane
unit
mark
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211075980.2A
Other languages
English (en)
Inventor
池口诚人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihen Corp
Original Assignee
Daihen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihen Corp filed Critical Daihen Corp
Publication of CN116086312A publication Critical patent/CN116086312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供能高精度地检测标志的位置的标志检测装置以及利用其的机器人示教系统。标志检测装置(220)具备：图像生成部(221)，其在由2D摄像机取得的图像数据重叠由从与该2D摄像机相同视点拍摄的所述3D摄像机取得的点群数据，来生成合成图像；标志位置算出部(222)，其基于图像数据，来检测标志并算出位置；平面检测部(223)，其基于点群数据来检测平面；标志平面判定部(224)，其根据基于由标志位置算出部(222)算出的标志的位置的标志的区域内的点群数据和由平面检测部(223)检测到的平面，来判定标志平面；和标志位置补正部(225)，其通过将由标志位置算出部(222)算出的标志的位置投影到标志平面，来补正标志的位置。

Description

标志检测装置以及机器人示教系统
技术领域
本发明涉及标志检测装置以及机器人示教系统。
背景技术
近年来，在产业界普及了大量机器人。该机器人例如用在电子部件以及机械部件的组装、焊接以及运送等中，谋求工厂的生产线的效率化以及自动化。
例如在焊接机器人中，需要作成用于进行所期望的动作的程序，并作为所谓示教数据预先存储。操作者使用示教器，与机器人控制装置协作地操作实际的机器人，由此记录该动作，来生成该示教数据。
为了让操作者使用示教器实际使机器人动作的同时作成示教数据，对操作者的技能的依赖度大，有时需要长时间，因此，为了减轻给操作者的负担，公开了使用AR设备以及标志来认识机器人的位置的机器人系统(例如专利文献1)。
在专利文献1公开的技术中，用AR设备同时检测2个基准用标志，进而认识与机器人坐标系确定用标志的位置关系，由此抑制AR图形的显示位置偏离，并认识机器人的位置、朝向。在这样的机器人系统中，为了精度良好地认识工件以及机器人的位置、朝向，需要适当地检测成为基准的标志。
现有技术文献
专利文献
专利文献1：JP特开2021-62463号公报
但在专利文献1公开的技术中，在标志的检测中，例如在使用二维摄像机的情况下，会在图像处理中的轮廓判定时等，标志的轮廓位置出现偏离，或者原本就由于镜头的失真等，对应于视野角位置而发生标志图像失真，从而有可能与实际的标志的位置产生误差。
发明内容
为此，本发明目的在于，提供能高精度地检测标志的位置的标志检测装置以及利用其的机器人示教系统。
本发明的一方式所涉及的标志检测装置具备：图像生成部，其在由2D摄像机取得的图像数据重叠由从与该2D摄像机相同视点拍摄的所述3D摄像机取得的点群数据，来生成合成图像；标志位置算出部，其基于合成图像当中的图像数据，来检测标志并算出该标志的位置；平面检测部，其基于合成图像当中的点群数据来检测平面；标志平面判定部，其基于从由标志位置算出部算出的标志的位置检测到的标志的区域内所含的点群数据和由平面检测部检测到的平面，来判定该标志所存在的标志平面；和标志位置补正部，其通过将由标志位置算出部算出的标志的位置投影到标志平面，来补正该标志的位置。
根据该方式，标志位置算出部基于由图像生成部生成的图像数据与点群数据的合成图像当中的图像数据，来检测标志并算出该标志的位置，平面检测部基于合成图像当中的点群数据来检测平面。并且，标志平面判定部基于从由标志位置算出部算出的标志的位置检测到的标志的区域内所含的点群数据和由平面检测部检测到的平面，来判定该标志所存在的标志平面，标志位置补正部通过将由标志位置算出部算出的标志的位置投影到标志平面，来补正该标志的位置。由此，能高精度地检测标志的位置。另外，虽然也考虑仅使用距离摄像机等来认识标志的位置，但由于用点群数据形成的图像的解析度低，因此不能在该图像上认识标志的位置，或者即使认识出，进行检测的位置的精度也会变低。与其相比，在本发明的一方式所涉及的标志检测装置中，由于使用图像数据和点群数据，因此能高精度地检测标志的位置。
在上述方式中，也可以是，标志平面判定部在合成图像中检测到的标志的区域内的点群数据当中的给定比例以上的点群数据包含在由平面检测部检测到的平面中的情况下，将该平面判定为标志平面。
根据该方式，标志平面判定部由于使用点群数据来判定标志所存在的平面，因此，能适当地判定在由平面检测部检测到的平面中是否存在标志。其结果，在由平面检测部检测到的平面存在标志的情况下，将由平面检测部检测到的平面判定为标志平面，标志位置补正部通过将由标志位置算出部算出的标志的位置投影到该标志平面，来补正该标志的位置。由此，能适当且高精度地检测标志的位置。
在上述方式中，也可以是，标志平面判定部在合成图像中检测到的标志的区域内的点群数据当中的给定比例以上的点群数据未包含在由平面检测部检测到的平面中的情况下，将由该标志的区域内的点群数据构成的虚拟平面判定为标志平面。
根据该方式，标志平面判定部由于使用点群数据来判定标志所存在的平面，因此能适当地判定在由平面检测部检测到的平面中是否存在标志。其结果，在由平面检测部检测到的平面中不存在标志的情况下，将由该标志的区域内的点群数据构成的虚拟平面判定为标志平面，标志位置补正部通过将由标志位置算出部算出的标志的位置投影到该标志平面，来补正该标志的位置。由此，能适当且高精度地检测标志的位置。
在上述方式中，也可以是，标志平面判定部执行如下处理：在标志设定在工件的情况下，将由平面检测部检测到的平面判定为标志平面，在标志设定在机械手的情况下，将由合成图像中检测到的标志的区域内的点群数据构成的虚拟平面判定为标志平面。
根据该方式，标志平面判定部在标志设定在工件的情况下，将由平面检测部检测到的平面判定为标志平面，在标志设定在机械手的情况下，将由该标志的区域内的点群数据构成的虚拟平面判定为标志平面。即，标志平面判定部能对应于标志的设定位置来适当地判定标志平面。其结果，标志位置补正部能通过将由标志位置算出部算出的标志的位置投影到由标志平面判定部判定的标志平面，来适当地补正该标志的位置。
本发明的一方式所涉及的机器人示教系统具备：拍摄部，其具有拍摄包含工件和标志的图像的2D摄像机以及从与该2D摄像机相同视点进行拍摄的3D摄像机；图像生成部，其在由2D摄像机取得的图像数据重叠由所述3D摄像机取得的点群数据，来生成合成图像；标志位置算出部，其基于合成图像当中的图像数据，来检测标志并算出该标志的位置；平面检测部，其基于合成图像当中的点群数据来检测平面；标志平面判定部，其基于从由标志位置算出部算出的标志的位置检测到的标志的区域内所含的点群数据和由平面检测部检测到的平面，来判定该标志所存在的标志平面；标志位置补正部，其通过将由标志位置算出部算出的标志的位置投影到标志平面，来补正该标志的位置；摄像机坐标系设定部，其基于所补正的标志的位置来设定摄像机坐标系；和程序生成部，其将摄像机坐标系中的机械手的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使该机械手动作的作业程序。
根据该方式，拍摄部具有2D摄像机以及从与该2D摄像机相同视点进行拍摄的3D摄像机，标志位置算出部基于由图像生成部生成的图像数据与点群数据的合成图像当中的图像数据，来检测标志并算出该标志的位置，平面检测部基于合成图像当中的点群数据来检测平面。并且，标志平面判定部基于从由标志位置算出部算出的标志的位置检测到的标志的区域内所含的点群数据和由平面检测部检测到的平面，来判定该标志所存在的标志平面，标志位置补正部通过将由标志位置算出部算出的标志的位置投影到标志平面来补正该标志的位置。摄像机坐标系设定部基于由标志位置补正部补正过的标志的位置来设定摄像机坐标系，程序生成部将摄像机坐标系中的机械手的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使机械手动作的作业程序。其结果，由于基于更高精度地检测到的标志的位置来设定摄像机坐标系，生成作业程序，因此，能更高精度且适当地使机械手动作。
发明的效果
根据本发明，能提供能高精度地检测标志的位置的标志检测装置以及利用其的机器人示教系统。
附图说明
图1是例示包含本发明的第1实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。
图2是例示本发明的第1实施方式所涉及的机器人示教系统200的功能结构的图。
图3是表示标志M设定在作为焊接对象的工件W、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。
图4是示意表示检测设定在工件W的标志M的位置的标志检测装置220中的具体的处理的情形的图。
图5是表示标志M设定在机械手3、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。
图6是示意表示检测设定在机械手3的标志M的位置的标志检测装置220中的具体的处理的情形的图。
图7是表示本发明的第1以及第2实施方式所涉及的标志检测装置220所执行的标志检测方法M100的处理的流程的流程图。
附图标记的说明
1...拍摄终端、2...机器人控制装置、3...机械手、11...控制部、12...拍摄部、13...通信部、14...显示部、21...控制部、22...存储部、23...通信部、24...焊接电源部、31...多关节臂、32...焊炬、100...焊接机器人系统、200...机器人示教系统、211...拍摄部、212...摄像机坐标系设定部、213...程序生成部、220...标志检测装置、221...图像生成部、222...标志位置算出部、223...平面检测部、224...标志平面判定部、225...标志位置补正部、C...通信线缆、N...网络、M...标志、W...工件、L1～L3...焊接位置、Dm...点群数据、Wa、Wb...平面、BP...虚拟平面、M100...标志检测方法、S110～S170...标志检测方法M100的各步骤
具体实施方式
以下参考附图来具体说明本发明的实施方式。另外，以下说明的实施方式只是举出用于实施本发明的具体的一例，并不限定地解释本发明。此外，为了使说明的理解容易，在各附图中对相同的构成要素尽可能标注相同的附图标记，有时省略重复的说明。
<第1实施方式>
[焊接机器人系统的基本结构]
图1是例示包含本发明的第1实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。如图1所示那样，焊接机器人系统100例如具备拍摄终端1、机器人控制装置2和机械手3。拍摄终端1和机器人控制装置2例如经由网络N连接，器人控制装置2和机械手3例如经由通信线缆C连接。网络N可以是有线(包含通信线缆)，也可以是无线。另外，可以在焊接机器人系统100中包含示教器。示教器是作业者示教机械手3的动作的操作装置。
机械手3是按照机器人控制装置2中设定的施工条件来进行电弧焊接的焊接机器人(产业用机器人)。机械手3例如具有：设置在固定于工厂的地板面等的底座构件上的多关节臂31；和与多关节臂31的前端连结的焊炬32(末端执行器)。
机器人控制装置2是控制机械手3的动作的控制组件，例如包含控制部21、存储部22、通信部23以及焊接电源部24。
控制部21例如通过由处理器执行存储于存储部22的作业程序，来控制机械手3以及焊接电源部24。
通信部23控制与经由网络N连接的拍摄终端1的通信，控制与经由通信线缆C连接的机械手3的通信。
焊接电源部24例如为了在焊丝的前端与工件之间使电弧产生，按照预先确定的焊接的施工条件，将焊接电流以及焊接电压等供给到机械手3。在焊接的施工条件中，例如包含焊接条件、焊接开始位置、焊接结束位置、电弧放电的时间、焊接距离、焊炬的姿态以及焊炬的移动速度等数据项目。焊接电源部24可以与机器人控制装置2分体地具备。
拍摄终端1例如是数字摄像机(2D摄像机)，可以是带数字摄像机的可挪动型终端。可挪动型终端例如包含平板终端、智能手机、便携信息终端(PDA)、笔记本PC(个人计算机)等能携带移动的终端。拍摄终端1例如包含控制部11、拍摄部12、通信部13、显示部14。
控制部11通过由处理器执行存放于存储器的给定的程序，来控制拍摄终端1的各部。
拍摄部12例如包含镜头以及摄像元件(图像传感器)，将在镜头受光的被摄体的光变换成电信号(数字图像数据)。
通信部13控制与经由网络N连接的机器人控制装置2的通信。
显示部14例如是具有触控面板的显示器，显示通过拍摄部12得到的被摄体的影像，接受作业者的操作指示等的输入。显示部14例如可以作为具有触控面板的显示器装置，与拍摄终端1分体地具备。
进而，拍摄终端1还具有作为3D摄像机的功能，例如可以包含LiDAR(LightDetection and Ranging，光探测和测距)传感器、毫米波传感器、超声波传感器等距离测量传感器。典型地，距离测量传感器对测量对象照射激光，基于其反射光来掌握该测量对象的形状，取得所谓3D扫描的数据，作为点群数据。另外，在点群数据中，例如可以包含以三维坐标值(X，Y，Z)示出的位置(距离)信息以及以(R，G，B)示出的色信息。
另外，取得上述的图像数据的2D摄像机和取得点群数据的3D摄像机可以构成为1个拍摄终端，使其包含两功能，也可以构成为构成各个功能的分开的拍摄终端。
[机器人示教系统的结构]
图2是例示本发明的第1实施方式所涉及的机器人示教系统200的功能结构的图。如图2所示那样，机器人示教系统200作为功能结构，例如具有拍摄部211、摄像机坐标系设定部212和程序生成部213，进而，包含用于检测成为用于设定摄像机坐标系的基准的标志的标志检测装置220。另外，标志检测装置220包含图像生成部221、标志位置算出部222、平面检测部223、标志平面判定部224和标志位置补正部225。
这些功能当中的拍摄部211是拍摄终端1所具有的功能。另一方面，摄像机坐标系设定部212、程序生成部213以及标志检测装置220中的各部可以在拍摄终端1以及机器人控制装置2的任一者中具备全部，也可以在拍摄终端1以及机器人控制装置2中分散具备各功能。此外，也可以是，拍摄终端1以及机器人控制装置2以外的其他装置具备上述功能的一部分或全部。
拍摄部211与拍摄终端1的拍摄部12相同，作为2D摄像机的功能，取得图像数据。进而，拍摄部211作为3D摄像机的功能，取得点群数据。另外，拍摄部211取得至少包含标志以及成为焊接对象的工件的图像。
摄像机坐标系设定部212基于由拍摄部211拍摄到的图像中所含的标志来设定摄像机坐标系。例如，摄像机坐标系设定部212在由拍摄部211拍摄到的图像中，以标志的位置为原点来设定由在该原点相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。
图3是表示标志M设定在作为焊接对象的工件W、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。如图3所示那样，标志M设定在工件W的底板，摄像机坐标系设定部212以由拍摄部211拍摄到的图像中所含的标志M的位置为原点O来设定由在该原点O相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。另外，原点O设定标志M当中的任意的点。例如，作为原点O，设定标志M当中的预先决定的一点、中心点或所选择的一点等即可。
在此，在从由拍摄部211拍摄到的图像检测标志M时，标志检测装置220基于由2D摄像机取得的图像数据和由所述3D摄像机取得的点群数据来适当检测该标志M的位置。
标志M只要是能使拍摄部211认识到正放置于空间内的识别符即可。作为标志，例如优选使用AR标志。通过使用AR标志，在认识到放置于空间内的AR标志时，能简易地实现使以该AR标志为原点的用户坐标系与实际的影像重合显示。另外，关于检测标志M的标志检测装置220的处理的详细，之后叙述。
在由摄像机坐标系设定部212设定的摄像机坐标系中，基于由拍摄部211拍摄到的图像中所含的工件W的焊接位置L1、L2、L3来设定机械手3的动作路径。例如，用户手动选择机械手3(焊炬32)的动作路径，或者算出该焊接位置L1、L2、L3与焊炬32的距离来自动设定机械手3(焊炬32)的动作路径，以使得在由拍摄部211拍摄到的图像中，安装于机械手3的前端的焊炬32沿着工件W的焊接位置L1、L2、L3来动作。
另一方面，机器人控制装置2从与该机器人控制装置2所控制的机械手3的各轴的角度相关的信息等掌握该机械手3的位置姿态(机器人坐标系)。然后，基于标志M的设置位置和相对于该标志M的设置位置的机械手3的位置姿态(设置位置)，来进行用于使摄像机坐标系和机器人坐标系一致的校准。该校准例如通过使机械手3(焊炬32)的前端对准标志M的设置位置来进行即可。
程序生成部213将摄像机坐标系中设定的机械手3的动作路径从摄像机坐标系变换成机器人控制装置2中设定的机器人坐标系，并生成用于使机械手3动作的作业程序。
如此地，在机器人示教系统200中，从用拍摄部211拍摄到的图像检测标志M，来设定摄像机坐标系，将该摄像机坐标系中的焊接位置L1、L2、L3以及机械手3的动作路径变换成机器人坐标系，并生成使得机械手3适当地在焊接位置L1、L2、L3进行焊接的作业程序。然后，将该作业程序存储到机器人控制装置2中的存储部，该机器人控制装置2基于作业程序来控制机械手3的动作，由此，作为焊接机器人系统，能在工件W的焊接位置L1、L2、L3适当地进行焊接。
[标志检测装置220中的处理的详细]
如上述那样，由于以标志M的位置为原点O来设定摄像机坐标系，因此适当地检测该标志M的位置变得重要。以下详细说明检测标志M的位置的标志检测装置220的处理。
图4是示意表示检测设定在工件W的标志M的位置的标志检测装置220中的具体的处理的情形的图。如图4所示那样，标志检测装置220基于由2D摄像机取得的图像数据和由所述3D摄像机取得的点群数据来检测标志M的位置。
图像生成部221在由2D摄像机取得的图像数据上重叠由所述3D摄像机取得的点群数据，来生成合成图像(图4的(a))。例如，由数字摄像机拍摄成包含作为焊接对象的工件W以及标志M，将该拍摄到的图像作为由2D摄像机取得的图像数据进行保存。由距离测量传感器测量与作为焊接对象的工件W以及标志M对应的位置(距离)信息，取得该位置(距离)信息，作为以三维坐标值(X，Y，Z)示出的点群数据。然后，图像生成部221，通过在由2D摄像机取得的图像数据上重叠点群数据，来生成合成图像。具体地，在与由所述3D摄像机取得的点群数据的一点一点对应的三维坐标值(X，Y，Z)以及RGB值上附加在由2D摄像机取得的图像数据中吻合的像素(XY坐标值)信息即可。如此地，基于由2D摄像机取得的图像数据的给定的描画范围、和构成由3D摄像机取得的点群数据的各绘制的位置，被记录成分别对应。
另外，图像生成部221为了在由2D摄像机取得的图像数据上重叠由3D摄像机取得的点群数据，掌握2D摄像机与3D摄像机的相对位置姿态为好。由2D摄像机取得的图像数据和由3D摄像机取得的点群数据典型地是从相同视点拍摄的。
标志位置算出部222基于由图像生成部221生成的合成图像当中的图像数据，来检测标志M，并算出该标志M的位置(图4的(b))。例如，标志位置算出部222从由图像生成部221生成的合成图像当中的图像数据中使用给定的图像处理等来检测预先设定的标志M的图像图案。然后，标志位置算出部222对于从该图像数据检测到的标志M，从图像数据中的坐标变换成空间中的坐标，来算出三维位置。在此，所谓标志M的位置，可以是该标志M的轮廓范围位置，也可以是该标志M的4角的点的位置。
标志位置算出部222例如基于包含摄像机的位置、视线方向、镜头失真、变焦、解析度以及其他设定值等的预先设定的摄像机参数等，来算出从图像数据检测到的标志M的三维位置即可。此外，标志位置算出部222能从算出的标志M的三维位置掌握该标志M的区域内所含的点群数据Dm。
在此，由标志位置算出部222算出的标志M的三维位置由于是基于由2D摄像机取得的图像数据算出的，因此，有时会与实际的标志M的位置产生误差(图4的(c))。
平面检测部223基于由图像生成部221生成的合成图像当中的点群数据来检测平面(图4的(d))。例如，在此，平面检测部223检测工件W的底板即平面Wa以及背板即平面Wb，作为给定的面积以上的平面。
标志平面判定部224基于合成图像中检测到的标志M的区域内所含的点群数据Dm和由平面检测部223检测到的平面Wa以及Wb，来判定该标志M所存在的标志平面(图4的(e))。例如，在此，标志平面判定部224，判定标志M的区域内所含的点群数据Dm是否包含在构成平面Wa(Wb)的点群数据中。具体地，若标志M的区域内所含的点群数据Dm当中的给定比例(例如20％～80％)以上的点群数据包含在构成平面Wa的点群数据中，标志平面判定部224就可以视作标志M存在于平面Wa上，将平面Wa判定为标志平面。
另一方面，如图4所示那样，由于标志M的区域内所含的点群数据Dm未包含在构成平面Wb的点群数据中，因此，标志平面判定部224不将平面Wb判定为标志平面。
标志位置补正部225通过将由标志位置算出部222算出的标志M的位置投影到由标志平面判定部224判定的标志平面，来补正该标志M的位置(图4的(f))。例如，标志位置补正部225将由标志位置算出部222算出的标志M的位置对由标志平面判定部224判定为标志平面的平面Wa在垂直方向上进行投影。即，判定为使从由标志位置算出部222算出的标志M的位置检测到的该标志M的轮廓范围位置在以平面Wa为基准的垂直方向上移动，标志M被置于与平面Wa交叉的位置。然后，将投影到该平面Wa的标志M的位置设为设置该标志M的位置。
如此地，标志检测装置220由于将基于由2D摄像机取得的图像数据算出的标志M的位置通过基于由3D摄像机取得的点群数据投影到该标志M所存在的标志平面(在此是平面Wa)来进行补正，因此高精度地检测标志M的位置。
如以上那样，根据本发明的第1实施方式所涉及的标志检测装置220，标志位置算出部222基于由图像生成部221生成的图像数据与点群数据的合成图像当中的图像数据，来检测标志M，并算出该标志M的位置。平面检测部223基于该合成图像当中的点群数据，来检测平面Wa以及Wb。然后，标志平面判定部224基于由标志位置算出部222检测到的标志M的区域内所含的点群数据Dm和由平面检测部223检测到的平面Wa以及Wb，来判定该标志M所存在的标志平面(本实施方式中是平面Wa)，标志位置补正部225通过将由标志位置算出部222算出的标志M的位置投影到标志平面，来补正该标志M的位置。由此，能高精度地检测标志M的位置。
进而，根据利用了本发明的第1实施方式所涉及的标志检测装置220的机器人示教系统200，摄像机坐标系设定部212基于由该标志检测装置220高精度地检测到的标志M的位置，来以该标志M的位置为原点O来设定摄像机坐标系。程序生成部213基于标志M的设置位置，来将摄像机坐标系中设定的机械手3的动作路径从摄像机坐标系变换成在机器人控制装置2中设定的机器人坐标系，并生成用于使机械手3动作的作业程序。由此，能在适当的焊接位置更高精度地进行焊接。
另外，在本实施方式中，基于标志M的区域内所含的点群数据Dm和构成平面Wa的点群数据，视作标志M存在于平面Wa上，标志平面判定部224将平面Wa判定为标志平面，但将平面Wa判定为标志平面的方法并不限定于此。例如，可以是，用户选择标志M所存在的平面，将该选择的平面判定为标志平面，在标志M设定在工件W的情况下，可以将由平面检测部223检测到的平面的任一者判定为标志平面，或者通过用户从该平面选择任一者，来判定标志平面。
此外，在本实施方式中，标志位置补正部225通过将由标志位置算出部222算出的标志M的位置投影到由标志平面判定部224判定的标志平面，来补正该标志M的位置，但是例如，在补正前后的标志M的位置大幅不同的情况下，考虑实际上标志M并不存在于由标志平面判定部224判定的标志平面上的可能性。为此，也可以在补正前后的标志M的位置的差超过给定的阈值的情况下，不将由标志位置算出部222算出的标志M的位置投影到由标志平面判定部224判定的标志平面(本实施方式中是平面Wa)，将由该标志位置算出部222算出的标志M的位置作为标志M的位置。
<第2实施方式>
接下来，在本发明的第2实施方式中，说明在标志M设定在机械手3的情况下适当地检测该标志M的位置的情形。另外，机器人示教系统以及标志检测装置由于是与使用图1以及图2说明的机器人示教系统200以及标志检测装置220相同的结构，因此，对于相同的处理以及功能，有时省略详细的说明，在本实施方式中，主要详细说明与第1实施方式的不同点。
图5是表示标志M设定在机械手3、以该标志M的位置为原点O来设定摄像机坐标系的情形的图。如图5所示那样，标志M设定在机械手3，摄像机坐标系设定部212将由拍摄部211拍摄到的图像中所含的标志M的位置作为原点O，设定由在该原点O相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。并且，在从由拍摄部211拍摄到的图像检测标志M时，由标志检测装置220基于由2D摄像机取得的图像数据和由3D摄像机取得的点群数据来适当地检测该标志M的位置。
[标志检测装置220中的处理的详细]
以下详细说明检测本实施方式中的标志M的位置的标志检测装置220的处理。
图6是示意表示检测设定在机械手3的标志M的位置的标志检测装置220中的具体的处理的情形的图。如图6所示那样，标志检测装置220基于由2D摄像机取得的图像数据和由3D摄像机取得的点群数据，来检测标志M的位置。
图像生成部221在由2D摄像机取得的图像数据上重叠由3D摄像机取得的点群数据，来生成合成图像(图6的(a))，标志位置算出部222基于由图像生成部221生成的合成图像当中的图像数据，来检测标志M，并算出该标志M的位置(图6的(b))。此外，标志位置算出部222从所算出的标志M的三维位置掌握该标志M的区域内所含的点群数据Dm。这些与使用第1实施方式的图4的(a)、(b)说明的处理同样。
此外，标志位置算出部222与第1实施方式的图4的(c)同样，都是基于由2D摄像机取得的图像数据来算出由标志位置算出部222算出的标志M的三维位置，因此，有时与实际的标志M的位置产生误差(图6的(c))。
平面检测部223基于由图像生成部221生成的合成图像当中的点群数据来检测平面图6的(d))。例如，在此，平面检测部223检测工件W的底板即平面Wa以及背板即平面Wb，作为给定的面积以上的平面。
标志平面判定部224基于合成图像中检测到的标志M的区域内所含的点群数据Dm、和由平面检测部223检测到的平面Wa以及Wb，来判定该标志M所存在的标志平面(图6的(e))。在本实施方式中，如图5所示那样，标志M未设定在构成工件W的平面Wa以及Wb的任一者上，而是设定在机械手3上。为此，标志平面判定部224判定为标志M的区域内所含的点群数据Dm当中的给定比例(例如20％～80％)以上的点群数据未包含在构成平面Wa以及Wb的点群数据上，标志M不存在于平面Wa以及Wb上。在该情况下，基于该标志M的区域内所含的点群数据Dm来生成由该点群数据Dm构成的虚拟平面BP，将该虚拟平面BP判定为标志M所存在的标志平面(图6的(e))。
标志位置补正部225通过将由标志位置算出部222算出的标志M的位置投影到由标志平面判定部224判定的标志平面，来补正该标志M的位置(图6的(f))。例如，标志位置补正部225将由标志位置算出部222算出的标志M的位置对由标志平面判定部224判定为标志平面的虚拟平面BP在垂直方向上进行投影。然后，将投影到该虚拟平面BP的标志M的位置设为设置该标志M的位置。
如此地，标志检测装置220基于由3D摄像机取得的点群数据来生成该标志M所虚拟存在的虚拟平面BP，将该虚拟平面BP作为标志平面，将基于由2D摄像机取得的图像数据算出的标志M的位置通过投影到标志平面(在此，虚拟平面BP)来进行补正，因此，高精度地检测标志M的位置。
如以上那样，根据本发明的第2实施方式所涉及的标志检测装置220，即使是实际上标志M未设定在构成工件W的平面上的情况，标志平面判定部224也基于标志M的区域内所含的点群数据Dm，来将虚拟平面BP判定为标志M所存在的标志平面。然后，标志位置补正部225将由标志位置算出部222算出的标志M的位置，通过投影到标志平面来补正该标志M的位置。由此，能高精度地检测标志M的位置。
另外，在本实施方式中，基于标志M的区域内所含的点群数据Dm和构成平面Wa以及Wb的点群数据，来判定标志M不存在于面Wa以及Wb上，但例如也可以根据标志M设定在机械手3上，来判定为标志M不存在于平面上，还可以通过用户进行选择，来判定为不存在于平面上。
此外，在本实施方式中，标志平面判定部224，生成虚拟平面BP，并将该虚拟平面BP判定为标志平面，但在用于生成虚拟平面BP的标志M的区域内所含的点群数据Dm极端少的情况或偏差大的情况下，考虑不能适当地生成该虚拟平面的可能性。为此，在补正前后的标志M的位置的差超过给定的阈值的情况下，也可以不将由标志位置算出部222算出的标志M的位置投影到由标志平面判定部224判定的标志平面(在本实施方式中是虚拟平面BP)，而是将该由标志位置算出部222算出的标志M的位置设为标志M的位置。
[标志检测方法]
接下来，具体详细地说明本发明的第1以及第2实施方式所涉及的标志检测装置220检测标志的方法。
图7是表示本发明的第1以及第2实施方式所涉及的标志检测装置220所执行的标志检测方法M100的处理的流程的流程图。如图7所示那样，标志检测方法M100包含步骤S110～S170，各步骤由标志检测装置220中所含的处理器执行。
在步骤S110，标志检测装置220在由2D摄像机取得的图像数据上重叠由3D摄像机取得的点群数据来生成合成图像(合成图像生成步骤)。作为具体例，标志检测装置220中的图像生成部221基于用数字摄像机拍摄成同时包含工件W以及标志M的图像数据、以及用距离测量传感器测量的点群数据，来生成合成图像。
在步骤S120，标志检测装置220基于步骤S110中生成的合成图像当中的图像数据，来检测标志，并算出该标志的位置(标志位置算出部)。作为具体例，标志检测装置220中的标志位置算出部222从图像数据检测预先设定的标志M的图像图案，基于摄像机参数等来算出标志M的三维位置。
在步骤S130，标志检测装置220基于步骤S110中生成的合成图像当中的点群数据来检测平面(平面检测步骤)。作为具体例，标志检测装置220中的平面检测部223检测构成工件W的平面Wa以及Wb等，作为给定的面积以上的平面。
在步骤S140，标志检测装置220基于步骤S120中检测到的标志的区域内所含的点群数据和步骤S130中检测到的平面，来判定该标志所存在的标志平面(标志平面判定步骤)。作为具体例，标志检测装置220中的标志平面判定部224判定标志M的区域内所含的点群数据Dm当中的给定比例以上的点群数据是否包含在构成步骤S130中检测到的平面Wa(Wb)的点群数据中。
标志平面判定部224在点群数据Dm当中的给定比例以上的点群数据包含在构成平面Wa(Wb)的点群数据中的情况下(标志M存在于平面Wa的情况下)，将步骤S130中检测到的平面Wa判定为标志平面(步骤S150)。
另一方面，标志平面判定部224在点群数据Dm当中的给定比例以上的点群数据未包含在构成平面Wa(Wb)的点群数据中的情况下(标志M不存在于平面Wa(Wb)的情况下)，将由点群数据Dm构成的虚拟平面BP判定为标志平面(步骤S160)。
在步骤S170，标志检测装置220将步骤S120中算出的标志的位置通过投影到步骤S150或步骤S160中判定的标志平面，来补正该标志的位置(标志位置补正步骤)。作为具体例，标志检测装置220中的标志位置补正部225将步骤S120中算出的标志M的位置通过投影到平面Wa或虚拟平面BP，来补正该标志M的位置。
如以上那样，根据标志检测方法M100，无论是标志M存在于平面Wa等平面的情况，还是设定在机械手3等而不存在于平面的情况，都是通过在步骤S140掌握标志M的状态，来在步骤S150将平面Wa判定为标志平面，或在步骤S160将虚拟平面BP判定为标志平面。然后，在步骤S170中通过将标志M的位置投影到标志平面(平面Wa或虚拟平面BP)，来补正该标志M的位置。由此，不管是标志M存在于平面Wa等平面的情况，还是设定在机械手3等而不存在于平面的情况，都能高精度地检测标志M的位置。
此外，在上述的各实施方式中，举出焊接机器人系统100的机器人示教系统200中所用的标志检测装置220为一例进行了说明，但使用标志检测装置220的产业用机器人并不限定于焊接机器人系统100。例如，还能在进行电子部件以及机械部件的组装、运送等的组装机器人系统、运送机器人系统等中运用标志检测装置220。
以上说明的实施方式用于使本发明的理解容易，并非限定地解释本发明。实施方式所具备的各要素和其配置、材料、条件、形状以及尺寸等并不限定于例示，能适宜变更。此外，能将以不同的实施方式示出的结构彼此部分地置换或组合。

Claims (5)

1.一种标志检测装置，其特征在于，具备：
图像生成部，其在由2D摄像机取得的图像数据重叠由从与该2D摄像机相同视点拍摄的所述3D摄像机取得的点群数据，来生成合成图像；
标志位置算出部，其基于所述合成图像当中的图像数据，来检测标志并算出该标志的位置；
平面检测部，其基于所述合成图像当中的点群数据来检测平面；
标志平面判定部，其基于从由所述标志位置算出部算出的标志的位置检测到的所述标志的区域内所含的点群数据和由所述平面检测部检测到的平面，来判定该标志所存在的标志平面；和
标志位置补正部，其通过将由所述标志位置算出部算出的所述标志的位置投影到所述标志平面，来补正该标志的位置。
2.根据权利要求1所述的标志检测装置，其特征在于，
所述标志平面判定部在所述合成图像中检测到的所述标志的区域内的点群数据当中的给定比例以上的点群数据包含在由所述平面检测部检测到的平面中的情况下，将该平面判定为所述标志平面。
3.根据权利要求1或2所述的标志检测装置，其特征在于，
所述标志平面判定部在所述合成图像中检测到的所述标志的区域内的点群数据当中的给定比例以上的点群数据未包含在由所述平面检测部检测到的平面中的情况下，将由该标志的区域内的点群数据构成的虚拟平面判定为所述标志平面。
4.根据权利要求1所述的标志检测装置，其特征在于，
所述标志平面判定部执行如下处理：
在所述标志设定在工件的情况下，将由所述平面检测部检测到的平面判定为所述标志平面，
在所述标志设定在机械手的情况下，将由所述合成图像中检测到的所述标志的区域内的点群数据构成的虚拟平面判定为所述标志平面。
5.一种机器人示教系统，其特征在于，具备：
拍摄部，其具有拍摄包含工件和标志的图像的2D摄像机以及从与该2D摄像机相同视点进行拍摄的3D摄像机；
图像生成部，其在由所述2D摄像机取得的图像数据上重叠由所述3D摄像机取得的点群数据，来生成合成图像；
标志位置算出部，其基于所述合成图像当中的图像数据，来检测所述标志并算出该标志的位置；
平面检测部，其基于所述合成图像当中的点群数据来检测平面；
标志平面判定部，其基于从由所述标志位置算出部算出的标志的位置检测到的所述标志的区域内所含的点群数据和由所述平面检测部检测到的平面，来判定该标志所存在的标志平面；
标志位置补正部，其通过将由所述标志位置算出部算出的所述标志的位置投影到所述标志平面，来补正该标志的位置；
摄像机坐标系设定部，其基于所补正的所述标志的位置来设定摄像机坐标系；和
程序生成部，其将所述摄像机坐标系中的机械手的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使该机械手动作的作业程序。
CN202211075980.2A 2021-11-05 2022-09-02 标志检测装置以及机器人示教系统 Pending CN116086312A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021181167A JP7183372B1 (ja) 2021-11-05 2021-11-05 マーカ検出装置及びロボット教示システム
JP2021-181167 2021-11-05

Publications (1)

Publication Number Publication Date
CN116086312A true CN116086312A (zh) 2023-05-09

Family

ID=83081705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211075980.2A Pending CN116086312A (zh) 2021-11-05 2022-09-02 标志检测装置以及机器人示教系统

Country Status (6)

Country Link
US (1) US20230147940A1 (zh)
EP (1) EP4177837A1 (zh)
JP (1) JP7183372B1 (zh)
KR (1) KR20230065880A (zh)
CN (1) CN116086312A (zh)
TW (1) TWI806761B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5785074B2 (ja) 2011-12-22 2015-09-24 国立大学法人 東京大学 モデル生成装置、モデル生成方法及びモデル生成プログラム
WO2014147863A1 (ja) 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
JP6869159B2 (ja) * 2017-10-03 2021-05-12 株式会社ダイヘン ロボットシステム
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム

Also Published As

Publication number Publication date
KR20230065880A (ko) 2023-05-12
US20230147940A1 (en) 2023-05-11
TW202319195A (zh) 2023-05-16
JP2023069373A (ja) 2023-05-18
TWI806761B (zh) 2023-06-21
JP7183372B1 (ja) 2022-12-05
EP4177837A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
US20140156072A1 (en) Apparatus and method for measuring tool center point position of robot
JP2012101306A (ja) ロボットの校正装置および校正方法
TWI807990B (zh) 機器人示教系統
JP7176148B1 (ja) 溶接線検出システム
TWI806761B (zh) 標誌檢測裝置以及機器人示教系統
CN113302027B (zh) 作业坐标生成装置
TWI806762B (zh) 標誌檢測裝置以及機器人示教系統
US20240066701A1 (en) Simulation device using three-dimensional position information obtained from output from vision sensor
JP7423851B1 (ja) 端末装置
TWI822314B (zh) 焊接線檢測系統
JP2023069274A (ja) 座標系変換システム及び座標系変換方法
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JP7195476B1 (ja) 作業プログラム作成システム及び作業プログラム作成方法
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
CN115846804A (zh) 作业程序作成系统以及作业程序作成方法
JP2023087928A (ja) 溶接位置検出装置及びロボット教示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination