CN108297096A - 校准装置、校准方法以及计算机能够读取的介质 - Google Patents

校准装置、校准方法以及计算机能够读取的介质 Download PDF

Info

Publication number
CN108297096A
CN108297096A CN201810023848.4A CN201810023848A CN108297096A CN 108297096 A CN108297096 A CN 108297096A CN 201810023848 A CN201810023848 A CN 201810023848A CN 108297096 A CN108297096 A CN 108297096A
Authority
CN
China
Prior art keywords
camera
parameter
target label
coordinate
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810023848.4A
Other languages
English (en)
Other versions
CN108297096B (zh
Inventor
并木勇太
藁科文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN108297096A publication Critical patent/CN108297096A/zh
Application granted granted Critical
Publication of CN108297096B publication Critical patent/CN108297096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

提供一种校准装置、校准方法以及计算机能够读取的介质。在立体照相机(2)的校准时可以不按每个照相机重复地进行用于检测目标标记(5)的参数设定。一种校准装置(1)，使立体照相机(2)所具备的第一照相机(21)的图像坐标系上的位置信息、第二照相机(22)的图像坐标系上的位置信息以及机器人(4)的机器人坐标系上的位置信息相对应，所述校准装置具备：第一参数设定部(102)，其设定用于从由第一照相机(21)拍摄的图像数据检测安装于机器人(4)的目标标记(5)的第一参数；以及第二参数设定部(104)，其基于第一参数来设定用于从由第二照相机(22)拍摄的图像数据检测目标标记(5)的第二参数。

Description

校准装置、校准方法以及计算机能够读取的介质
技术领域
本发明涉及到视觉传感器的校准，特别涉及到在使用具备多个照相机的立体照相机的校准时检测目标标记的校准装置、校准方法以及程序。
背景技术
在机器人系统中使机器人具有视觉功能，使机器人利用其视觉功能来识别对象物的位置，从而进行工件的处理、加工等作业。通过由安装于机器人的手附近的视觉传感器、设置于机器人的周边的视觉传感器拍摄对象物来实现该视觉功能。在这种机器人系统中，为了获取从机器人处观察到的对象物的位置，需要用于将图像上的对象物的位置变换为从机器人处观察到的对象物的位置的校准数据。
以往，存在各种用于求出校准数据的方法。例如，在专利文献1中，提出了如下的方法：在机器人的臂顶端安装格子状的图案，利用固定设置的视觉传感器来测量该格子状的图案(称为“方法A”)。另外，在专利文献2中，提出了如下的方法：在臂顶端安装预先在机器人的指尖坐标系中求出了位置姿势的目标标记，在多处求出该目标标记在利用视觉传感器拍摄该目标标记所得到的图像内的位置，由此进行校准(称为“方法B”)。
在利用方法A进行校准的情况下，需要预先准备使用于校准的图案。存在以下问题：在照相机的视场相对于所准备的图案而言过大或过小的情况下，无法精度良好地进行校准。
与此相对，与方法A相比，在利用方法B进行校准的情况下，存在以下优点：能够对更大的视场进行校准或对更小的视场进行校准，能够进一步提高校准的自由度。
此外，在进行三维的测量时，例如有时会如专利文献3所记载的那样将立体照相机用作视觉传感器。关于立体照相机，包括使用对象物的纹理来进行对应点的匹配的被动立体方式、使用投影到对象物的图案来进行对应点的匹配的主动立体方式。无论在哪一种情况下，都需要对构成立体照相机的2个以上的照相机进行校准。
专利文献1：日本专利第2690603号公报
专利文献2：日本特开2015-174191号公报
专利文献3：日本特开2010-172986号公报
发明内容
发明要解决的问题
在如这种立体照相机那样对多个照相机进行校准时，需要独立地对各个照相机进行校准。然而，多个照相机安装于彼此分离的场所，因此，照相机拍到的目标标记的形状进行各不相同的变形。例如，在多个照相机以互不相同的倾斜度进行安装的情况下，照相机拍到的目标标记的形状进行互不相同的变形。
在多个照相机拍到的目标标记的形状进行各不相同的变形的情况下，无法将利用一个照相机制作出的模型图案使用于另一照相机的情况多。因此，在照相机拍到的目标标记的形状进行各不相同的变形的情况下，需要按多个照相机中的每个照相机来制作模型图案，并且需要按多个照相机中的每个照相机来进行例如曝光时间、图像中的要校准的范围、目标标记的形状模型、检测参数等用于检测目标标记的参数设定，使得能够检测出目标标记。
然而，在校准时按多个照相机中的每个照相机来制作模型图案并且进行用于检测的参数的设定会对操作员的操作性造成大的影响，需要多余的时间，降低效率。因此，期望的是，即使是在对多个照相机进行校准时，也可以不按每个照相机重复地进行在校准时进行的参数设定。
关于这一点，专利文献2所记载的校准只不过是对单一的照相机进行校准，而不是对如立体照相机那样的多个照相机进行校准。另外，专利文献3所记载的校准是通过在机器人的臂顶端安装作为基础矩阵计算用工具的棋盘格并利用立体照相机拍摄该棋盘格来进行校准，并非通过在臂顶端安装目标标记并在多处求出该目标标记在利用立体照相机拍摄该目标标记所得到的图像内的位置来进行校准。
本发明提供一种能够在具备多个照相机的立体照相机的校准时可以不按每个照相机重复地进行模型图案的制作和用于检测目标标记的参数设定的校准装置、方法以及程序。
用于解决问题的方案
(1)本发明所涉及的校准装置(例如，后述的“视觉传感器控制装置1”)使立体照相机所具备的第一照相机的图像坐标系上的位置信息和所述立体照相机所具备的第二照相机的图像坐标系上的位置信息中的至少一方与机器人的机器人坐标系上的位置信息相对应，所述校准装置具备：模型图案生成部(例如，后述的“模型图案生成部101”)，其生成安装于机器人的目标标记的模型图案；第一参数设定部(例如，后述的“第一参数设定部102”)，其基于所述模型图案，设定用于从由所述第一照相机拍摄的图像数据检测所述目标标记的第一参数；第二参数设定部(例如，后述的“第二参数设定部104”)，其基于所述模型图案，基于由所述第一参数设定部设定的所述第一参数来设定用于从由所述第二照相机拍摄的图像数据检测所述目标标记的第二参数；摄像控制部(例如，后述的“摄像控制部100”)，其在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；第一检测部(例如，后述的“第一检测部103”)，其使用所述第一参数中包含的所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；第二检测部(例如，后述的“第二检测部105”)，其使用所述第二参数中包含的所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及校准部(例如，后述的“校准部106”)，其基于由所述第一检测部测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、由所述第二检测部测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
(2)根据(1)所述的校准装置，也可以构成为：所述目标标记安装于所述机器人的臂顶端，该目标标记在所述机器人的指尖坐标系上的三维的位置及姿势是预先求出的。
(3)根据(1)或(2)所述的校准装置，也可以构成为：所述第一参数和所述第二参数包括单一的数值、开/关值或者具有范围的参数。
(4)根据(1)至(3)中的任一项所述的校准装置，也可以构成为：由所述第二参数设定部初始设定的所述第二参数被设定成：能够从由所述第二照相机拍摄的图像检测出全部的能够利用由所述第一参数设定部设定的所述第一参数从由所述第一照相机拍摄的图像数据检测出的所述目标标记。
(5)根据(4)所述的校准装置，也可以构成为：在所述第一参数具有规定的范围的情况下，所述第二参数设定部以在能够从由所述第二照相机拍摄的图像数据检测出所述目标标记时使用的第二参数的值为中心，设定所述第一参数中的相对于中心值的偏差的大小的范围，来作为所述第二参数的范围。
(6)根据(1)至(5)中的任一项所述的校准装置，也可以构成为：所述第一参数和所述第二参数分别包括与所述目标标记的模型图案、尺寸以及变形有关的参数。
(7)根据(4)至(6)中的任一项所述的校准装置，也可以构成为：所述第一参数和所述第二参数分别是应用于所述目标标记的模型图案的参数，所述第一检测部利用应用了所述第一参数的模型图案来从由所述第一照相机拍摄的图像数据检测目标标记，所述第二检测部利用应用了所述第二参数的模型图案来从由所述第二照相机拍摄的图像数据检测目标标记。
(8)根据(1)至(6)中的任一项所述的校准装置，也可以构成为：所述第一参数和所述第二参数分别是应用于由所述第一照相机拍摄的图像数据和由所述第二照相机拍摄的图像数据的参数，所述第一检测部从对由所述第一照相机拍摄的图像数据应用所述第一参数所得到的图像数据检测所述目标标记，所述第二检测部从对由所述第二照相机拍摄的图像数据应用所述第二参数所得到的图像数据检测所述目标标记。
(9)本发明所涉及的校准方法(例如，后述的“视觉传感器控制方法”)由校准装置(后述的“视觉传感器控制装置”)执行，该校准装置使立体照相机所具备的第一照相机的图像坐标系上的位置信息、所述立体照相机所具备的第二照相机的图像坐标系上的位置信息以及机器人的机器人坐标系上的位置信息相对应，该校准方法具备通过所述校准装置执行的以下步骤：模型图案生成步骤，生成安装于机器人的目标标记的模型图案；第一参数设定步骤，基于所述模型图案，设定用于从由所述第一照相机拍摄的图像数据检测所述目标标记的第一参数；第二参数设定步骤，基于所述模型图案，基于通过所述第一参数设定步骤设定的所述第一参数来设定用于从由所述第二照相机拍摄的图像数据检测所述目标标记的第二参数；摄像控制步骤，在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；第一检测步骤，使用所述第一参数中包含的所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；第二检测步骤，使用所述第二参数中包含的所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及校准步骤，基于通过所述第一检测步骤测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、通过所述第二检测步骤测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
(10)本发明所涉及的程序(例如，后述的“程序”)使计算机执行以下步骤：模型图案生成步骤，生成安装于机器人的目标标记的模型图案；第一参数设定步骤，基于所述模型图案，设定用于从由所述第一照相机拍摄的图像数据检测所述目标标记的第一参数；第二参数设定步骤，基于所述模型图案，基于通过所述第一参数设定步骤设定的所述第一参数来设定用于从由所述第二照相机拍摄的图像数据检测所述目标标记的第二参数；摄像控制步骤，在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；第一检测步骤，使用所述第一参数中包含的所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；第二检测步骤，使用所述第二参数中包含的所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及校准步骤，基于通过所述第一检测步骤测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、通过所述第二检测步骤测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
发明的效果
根据本发明，能够提供在具备多个照相机的立体照相机的校准时可以不按每个照相机重复地进行模型图案的制作和用于检测目标标记的参数设定的校准装置、方法以及程序。
附图说明
图1是机器人系统1000的整体的结构图。
图2A是表示立体照相机2的配置状态的一例的图。
图2B是表示立体照相机2的配置状态的一例的图。
图3是表示目标标记5的一例的图。
图4表示对目标标记5的三维位置进行测量的点P的一例。
图5A是表示由多个照相机拍摄的对象物的图像上的变形的一例的图。
图5B是表示由多个照相机拍摄的对象物的图像上的变形的一例的图。
图6A是表示使安装于臂的顶端部分的目标标记5在校准的范围内移动的情况下的轨道的一例的图。
图6B是表示使安装于臂的顶端部分的目标标记5在校准的范围内移动的情况下的轨道的一例的图。
图6C是表示校准范围的一例的图。
图7是表示视觉传感器控制装置1的功能结构的功能框图。
图8是表示视觉传感器控制装置1中的CPU 10的功能结构的框图。
图9表示模型图案的一例。
图10表示生成模型图案的流程图。
图11是表示立体照相机2的校准的处理中的视觉传感器控制装置1的处理的流程图。
附图标记说明
1000：机器人系统；1：视觉传感器控制装置(校准装置)；10：CPU；100：摄像控制部；101：模型图案生成部；102：第一参数设定部；103：第一检测部；104：第二参数设定部；105：第二检测部；106：校准部；11：总线；12：帧存储器；13：ROM；14：RAM；15：非易失性RAM；151：基准信息存储部；152：检测结果存储部；16：照相机接口；17：监视器接口；18：外部设备接口；19：监视器；2：立体照相机；21：第一照相机；22：第二照相机；3：机器人控制装置；4：机器人；41：臂；5：目标标记。
具体实施方式
下面，说明本发明的实施方式的一例。
在本实施方式中，作为校准装置，例示视觉传感器控制装置。
图1涉及到视觉传感器的校准，特别是用于实施使用具备多个照相机的立体照相机的校准的机器人系统1000的整体的结构图。
如图1所示，机器人系统1000具备：立体照相机2，其具备2台照相机(第一照相机21和第二照相机22)；(作为校准装置的)视觉传感器控制装置1，其对由立体照相机2拍摄的图像数据进行图像处理来进行三维测量；机器人4，其具有在顶端部安装有目标标记5的臂41；以及机器人控制装置3，其控制机器人4。构成立体照相机的照相机不限于2台，是2台以上即可。另外，构成立体照相机的各个照相机也能够用作单一的照相机，这是不言而喻的。
图2A和图2B是表示立体照相机2的配置状态的图。立体照相机2固定于台架(未图示)。第一照相机21和第二照相机22也可以如图2A所示那样平行地配置。另外，也可以如图2B所示那样彼此倾斜地配置第一照相机21和第二照相机22。
此外，与将第一照相机21和第二照相机22平行地配置的情况相比，通过将第一照相机21和第二照相机22彼此倾斜地配置，能够使第一照相机21的摄像区域与第二照相机22的摄像区域的重合区域变大。即，与将第一照相机21和第二照相机22平行地配置的情况相比，能够使能够利用立体照相机2进行三维测量的区域变大。
反之，与将第一照相机21和第二照相机22平行地配置的情况相比，通过将第一照相机21和第二照相机22彼此倾斜地配置，能够使由第一照相机21拍摄的对象物(目标标记5)与由第二照相机22拍摄的对象物(目标标记5)的图像上的变形的差变大。
此外，期望的是，使第一照相机21和第二照相机22的视场范围、镜头等为相同的结构。通过这样，能够期待以同样的方式观测目标标记5。
图3是表示目标标记5的一例的图。目标标记5不限定于该例。能够使用任意的形状的目标标记5。其中，期望的是，使得用作模型图案的目标标记5的特征处于二维平面上。
作为目标标记5，例如也可以将印刷在纸、薄片上的目标标记粘贴在机器人4的臂的顶端。
关于安装于臂41的顶端部分的目标标记5，设预先指定用于测量目标标记5的三维位置的点，来预先求出了机器人4的指尖坐标系上的三维的位置及姿势。
图4中示出了用于测量目标标记5的三维位置的点P的一例。如图4所示，在未明确地指定用于测量目标标记5的三维位置的点P的情况下，也可以测量目标标记5的中心点。
图5A和图5B中示出了由多个照相机拍摄的对象物的图像上的变形的一例。图5A示出了所拍摄的对象物的图像彼此向反方向变形的例子。图5B示出了所拍摄的对象物的图像的尺寸不同、因此目标标记5在图像上以不同的尺寸展现的例子。
机器人控制装置3将机器人坐标系上的臂41的顶端的坐标位置识别为当前位置。因而，机器人控制装置3基于机器人坐标系上的臂41的顶端的坐标位置以及目标标记5在机器人4的指尖坐标系上的已知的三维的位置及姿势，能够始终识别对臂41进行驱动控制时的目标标记5在机器人坐标系上的坐标位置。
机器人控制装置3具备用于对整体进行统一控制的CPU(未图示)，经由外部设备接口(未图示)来与视觉传感器控制装置1连接，向视觉传感器控制装置1发送目标标记5在机器人坐标系上的坐标位置、或接收通过视觉传感器控制装置1中的图像处理(例如，目标标记5的检测处理等)所得到的图像处理结果等。
机器人控制装置3在校准执行时对臂41进行驱动控制，使得安装于臂41的顶端的目标标记5在预先设定的进行校准的范围(称为“校准范围”)内移动。此时，期望的是，臂41在所设定的校准范围内没有遗漏地移动。例如，也可以进行控制使得目标标记5沿图6A或图6B所示的轨道移动。
在此，校准范围是指在校准时使安装于臂41的顶端部分的目标标记5移动的空间，是能够在第一照相机21和第二照相机22中的至少任一个照相机的摄像范围内(视角内)拍摄移动后的目标标记5的、该目标标记5的移动范围。图6C中示出了校准范围的一例。
校准范围例如能够在该空间内的平面上指定为矩形。在将校准范围指定为矩形的情况下，只要测量该矩形的4角在机器人坐标系上的坐标位置即可。另外，在安装于臂41的顶端部分的目标标记5进行移动的空间上存在障碍物等的情况下，也可以以避开该障碍物的方式利用由多个线段构成的闭合的图形来指定校准范围。
另外，机器人控制装置3对安装于机器人4的臂41的顶端的目标标记5在机器人坐标系上的坐标位置进行测量。即，能够对目标标记5的移动目的地在机器人坐标系上的坐标位置进行测量。
视觉传感器控制装置1与具备第一照相机21和第二照相机22的立体照相机2连接，通过第一照相机21和第二照相机22来拍摄目标标记5，进行第一照相机21和第二照相机22的校准。这样，在本实施例中，视觉传感器控制装置1发挥校准装置的功能。
图7是表示视觉传感器控制装置1的功能结构的功能框图。
如图7所示，视觉传感器控制装置1具备用于对整体进行统一控制的CPU(中央运算处理装置)10。CPU 10经由总线11来与多个帧存储器12、ROM(只读存储器)13、RAM(随机存取存储器)14、非易失性RAM 15连接。另外，在总线11上经由照相机接口16连接有立体照相机2(第一照相机21和第二照相机22)，并且经由监视器接口17连接有监视器19。并且，CPU 10经由总线11来与外部设备接口18连接。
在ROM 13中保存有用于利用视觉传感器控制装置1进行的各种处理的程序。另外，一般来说与对ROM的访问相比对RAM的访问更高速，因此CPU10也可以预先将ROM 13中保存的程序解压到RAM 14，从RAM 14读入程序并执行该程序。另外，在RAM 14中保存有在执行程序时需要的暂时保存数据。
非易失性RAM 15是磁存储装置、快闪存储器、MRAM、FRAM(注册商标)、EEPROM、或者利用电池来备份的SRAM或DRAM等，构成为即使视觉传感器控制装置1的电源被断开也能够保持存储状态的非易失性存储器。在非易失性RAM 15中存储有在执行程序时需要的设定等。
在帧存储器12中保存有图像数据。
[关于模型图案]
非易失性RAM 15具备基准信息存储部151和检测结果存储部152。
基准信息存储部151存储表示对象物(目标标记5)的基准信息(也称为“模型图案”或“模板”)。作为基准信息，例如也可以采用由对象物(目标标记5)的边缘点构成的集合(也称为“边缘点群”)。边缘点是指图像上的亮度变化大的点。
例如，能够对对象物(目标标记5)实施公知的Sobel滤波来变换为边缘图像，从边缘图像中提取具有与预先决定的阈值以上的强度的像素(边缘点)，来作为边缘点群。将像这样从包含要检测的对象物(目标标记5)的图像提取出的边缘点群作为模型图案存储在基准信息存储部151中。
此外，模型图案不限定于边缘点。例如，也可以使用如公知的SIFT那样的特征点。另外，也可以通过以配合对象物(目标标记5)的轮廓线的方式配置线段、矩形、圆等几何图形来生成模型图案。在该情况下，在构成轮廓线的几何图形上以适当的间隔设置特征点即可。或者，模型图案也可以是从拍摄目标标记5所得到的图像剪下模型图案指定区域的部分而成的模板图像。
另外，如前所述，设预先指定用于测量安装于臂41的顶端的目标标记5的三维位置的点P，来预先求出了在机器人4的指尖坐标系上的三维的位置及姿势。
将这样生成的模型图案预先存储到基准信息存储部151也被称为“示教模型图案”。
模型图案的示教在后面叙述。
检测结果存储部152存储从图像数据检测目标标记5所得到的结果，其中，该图像数据是在使目标标记5在所设定的进行校准的范围内移动的情况下在各个移动目的地使用示教的模型图案通过第一照相机21和第二照相机22拍摄到的。
第一照相机21和第二照相机22分别按照来自CPU 10的指令来拍摄对象物从而获取图像，输出与获取到的图像有关的信号。照相机接口16具有以下功能：按照来自CPU 10的指令来对第一照相机21和第二照相机22产生用于控制曝光的定时的同步信号；将从第一照相机21和第二照相机22接收到的信号放大。这种第一照相机21和第二照相机22、照相机接口16是市场销售的一般的照相机、照相机接口，没有特别限定。
从第一照相机21和第二照相机22取入的与图像有关的信号在照相机接口16处被进行A/D变换，作为数字图像数据来经由总线11暂时被保存到帧存储器12。在视觉传感器控制装置1中，CPU 10使用帧存储器12、ROM 13、RAM 14以及非易失性RAM 15中保存的数据来进行图像处理，将图像处理的结果数据再次保存到帧存储器12。CPU 10也可以根据指令来将帧存储器12中保存的数据传输到监视器接口17从而使该数据显示在监视器19上，使得操作员等能够确认数据的内容。
外部设备接口18与各种外部设备连接。例如，外部设备接口18与机器人控制装置3连接，从机器人控制装置3接收目标标记5在机器人坐标系上的坐标位置、或将通过图像处理得到的位置信息数据等提供到机器人控制装置3。另外，外部设备接口18也可以连接键盘、鼠标等来作为供操作员用的输入装置。
接着，从各处理部的观点出发来说明CPU 10所具有的功能。此外，关于基于各处理步骤(方法)的观点的说明，能够通过将“部”替换为“步骤”来进行说明，因此省略该说明。
图8是表示视觉传感器控制装置1中的CPU 10的功能结构的框图。
CPU 10具备摄像控制部100、模型图案生成部101、第一参数设定部102、第一检测部103、第二参数设定部104、第二检测部105以及校准部106。
通过由CPU 10执行ROM 13中保存的系统程序来实现这些各功能部。
[摄像控制部100]
摄像控制部100通过第一照相机和第二照相机来拍摄安装于机器人4的臂41的顶端的目标标记5，其中，能够通过机器人4使该目标标记5在进行校准的范围内移动。特别是，在校准时在多个移动目的地的位置拍摄目标标记5。在此，作为多个移动目的地的个数，期望的是，使其为比能够进行校准的最小个数大的个数(例如，20以上)。通过这样，能够提高校准的精度。
[模型图案生成部101]
模型图案生成部101例如利用第一照相机21来生成模型图案。
图9中示出了模型图案的一例。另外，图10中示出了生成模型图案的流程图。模型图案生成部101生成如图9所示的模型图案。参照图10来说明模型图案生成部101的功能。
在步骤S1中，模型图案生成部101进行以下控制：利用第一照相机21来拍摄配置于第一照相机21的视场内的目标标记5。此外，期望的是，使此时的第一照相机21与目标标记5的位置关系同检测目标标记5时相同来进行控制。
在步骤S2中，模型图案生成部101在拍摄目标标记5得到的图像中将拍到目标标记5的区域利用矩形、圆形等设定为模型图案指定区域，并且在模型图案指定区域内定义模型图案坐标系。此外，模型图案生成部101也可以将操作员所指示的区域设定为模型图案指定区域。另外，模型图案生成部101也可以计算出图像中的亮度梯度大的地方来作为目标标记5的像的轮廓，以将该目标标记5的像的轮廓包含于内部的方式设定模型图案指定区域。
在步骤S3中，模型图案生成部101在模型图案指定区域内提取边缘点来作为特征点，求出边缘点的位置、亮度梯度的方向、亮度梯度的大小等物理量，变换为利用在模型图案指定区域内定义的模型图案坐标系来表现的值。
另外，模型图案生成部101将操作员所指示的点设定为用于测量目标标记5的三维位置的点P，存储到基准信息存储部151。此外，模型图案生成部101例如也可以将模型图案的中心点设定为用于测量目标标记5的三维位置的点P。
此外，如前所述，模型图案不限定于边缘点。例如，也可以使用如公知的SIFT那样的特征点。另外，也可以通过以配合对象物(目标标记5)的轮廓线的方式配置线段、矩形、圆等几何图形来生成模型图案。在该情况下，只要在构成轮廓线的几何图形上以适当的间隔设置特征点即可。或者，模型图案也可以是从拍摄目标标记5所得到的图像剪下模型图案指定区域的部分而成的模板图像。
在步骤S4中，模型图案生成部101将生成的模型图案存储到基准信息存储部151。
如以上那样，使用由一方的照相机(第一照相机21)拍摄的图像来生成模型图案。作为针对第二照相机22的模型图案，沿用使用由第一照相机拍摄的图像来生成的模型图案。
接着，说明使用基准信息存储部151中存储的模型图案来从由第一照相机21拍摄的图像数据检测目标标记5时的问题。
能够设想到，在校准时，通过第一照相机21得到的目标标记5的图像的摄影环境各不相同。作为摄影环境的不同，例如，由于移动目的地的位置的不同，第一照相机21与目标标记5的相对位置关系改变。因此，根据目标标记5在进行校准的范围内的移动目的地不同，利用第一照相机21拍摄安装于臂41的顶端部分的目标标记5所得到的图像有时与由模型图案生成部101生成的模型图案之间大小不同或明亮度不同、或者变为产生了旋转或变形的外观不同之物。因此，可能产生以下状况：在原本想要检测出与模型图案完全一致之物的情况下，无法从由第一照相机21拍摄的图像数据检测出对象物(目标标记5)。
[第一参数设定部102]
第一参数设定部102设定用于从由第一照相机21拍摄的图像数据检测目标标记5的模型图案的第一参数，使得即使上述这种状况下，也能够无论目标标记5在进行校准的范围内的移动目的地如何均从由第一照相机21拍摄的图像数据检测出模型图案。
更具体地说，由第一参数设定部102设定的第一参数依赖于检测算法，例如能够构成为具有相对于模型的尺寸、旋转、变形、进行检测的位置的范围、角度的范围等规定的范围，或者由单一的数值、开/关值构成。此外，第一参数不限于在此例示的参数。
通过这样，后述的第一检测部103构成为能够根据单一的数值、开/关值或者规定的范围内的参数的值来从摄像数据检测出与模型图案一致之物，从而能够无论目标标记5的移动目的地如何均检测出模型图案。通过这样，能够通过应用适当的参数的值来从摄像数据检测出模型图案。
也可以使第一参数为应用于由第一照相机21拍摄的图像数据的参数。在该情况下，第一检测部103构成为从对由第一照相机21拍摄的图像数据应用第一参数后得到的图像数据检测目标标记5的模型图案。例如，能够从对图像数据实施高斯滤波来进行平滑化后得到的图像数据检测模型图案。
另外，也可以使第一参数为应用于目标标记5的模型图案的参数。在该情况下，第一检测部103构成为利用应用第一参数后的模型图案来从由第一照相机21拍摄的图像数据检测目标标记5。
作为第一参数设定部102所设定的第一参数之一，例如也可以将投影变换、仿射变换、相似变换等的变换矩阵应用于模型图案。
例如，能够在将第一参数的值构成为单一的数值的情况下，使得能够选择单一的变换矩阵，在将第一参数的值构成为具有规定的范围的情况下，使得能够选择规定的范围的变换矩阵。具体地说，在将第一参数构成为具有规定的范围时，例如，在投影变换矩阵的情况下，可以构成为基于1个投影变换矩阵，使与该投影变换矩阵的各个元素之间的偏差为规定的阈值以下的投影变换矩阵包含于参数的范围，在旋转的情况下，可以基于1个旋转角度来设定旋转角度的范围。另外，关于相似变换也同样地，可以基于1个相似比来设定相似比的范围。
通过这样，例如，能够实现对于目标标记5的移动目的地不同所导致的目标标记5的外观的不同具有鲁棒性的检测。
此外，期望的是，关于曝光时间也是，例如根据第一照相机21与放置目标标记5的平面之间的角度、与照明之间的关系等来设定参数的值。
[第一检测部103]
第一检测部103从由第一照相机21拍摄的图像数据检测目标标记5，对检测出的目标标记5在第一照相机21的图像坐标系上的坐标位置进行测量。
具体地说，第一检测部103从单一的数值、开/关值或第一参数的规定的范围选择参数。此外，在从规定的范围选择参数时，例如也可以是，最开始选择在参数范围的值中位于中心的值。之后，例如也可以是，从中心的值分别向正负偏移，来选择下一个参数。
在如前所述那样第一参数是应用于由第一照相机21拍摄的图像数据的参数的情况下，第一检测部103在从单一的数值、开/关值或参数的规定的范围选择参数之后，利用该参数来对图像数据进行变换，使得能够从由第一照相机21拍摄的图像数据检测目标标记5。通过这样，第一检测部103能够通过公知的检测方法来从变换后的图像数据检测出目标标记5。
具体地说，第一检测部103利用与提取出示教的模型图案的特征点的方法相同的方法来从应用了第一参数的图像数据提取特征点，在特征点与构成模型图案的特征点之间进行公知的匹配，由此检测目标标记5。
另外，反之，第一检测部103也可以利用该参数来对目标标记5的模型图案进行变换。在该情况下，第一检测部103能够通过前述的公知的检测方法来从摄像数据检测与变换后的模型图案一致的目标标记5。
具体地说，第一检测部103利用与提取出示教的模型图案的特征点的方法相同的方法来从由第一照相机21拍摄的图像数据提取特征点，在特征点与应用了该参数的模型图案的特征点之间进行公知的匹配，由此检测目标标记5。
第一检测部103对检测出的目标标记5在第一照相机21的图像坐标系上的坐标位置进行测量。
[第二参数设定部104]
接着说明第二参数设定部104，该第二参数设定部104设定用于使用由第一照相机21生成的目标标记5的模型图案来从由第二照相机22拍摄的图像数据检测该模型图案的第二参数。
第二参数设定部104基于由第一参数设定部102设定的第一参数来设定用于从由第二照相机22拍摄的图像数据检测目标标记5的模型图案的第二参数。
更具体地说，第二参数设定部104在对第二参数的值进行初始设定时将第一参数按原样使用。
或者，在对第二参数的值进行初始设定时，例如，在将第二参数设为规定的范围的情况下，第二参数设定部104能够设定与第一参数的范围相同的范围、或者将第二参数的范围设定为包含由第一参数设定部102设定的第一参数的规定的范围的大的范围。在这种情况下，在能够通过利用后述的第二检测部105应用某个第二参数的值来从由第二照相机22拍摄的图像数据检测出目标标记5的模型图案的情况下，第二参数设定部104能够以该第二参数为中心，基于第一参数的规定的范围中的相对于中心值的偏差，来重新设定第二参数的值的范围。
例如，在针对第一照相机21利用第一参数将尺寸的范围设定为0.9至1.1的情况下，中心值为1.0，第一参数的规定的范围中的相对于中心值的偏差为0.1。
另一方面，关于第二照相机22的对象物(目标标记5)，在能够通过在第二照相机22中将第二参数中的尺寸设为0.95来最初检测出对象物(目标标记5)的情况下，将第二参数的中心值设为0.95，将第一参数的偏差指定给第二参数。即，第二参数的值的范围设定为将中心值设为0.95的范围[0.85～1.05]。
能够像这样重新考虑对第二参数的值的范围进行初始设定时的范围，能够更高效地实施从第二照相机22的摄像数据检测模型图案。
[第二检测部105]
第二检测部105从由第二照相机22拍摄的图像数据检测目标标记的模型图案，对检测出的目标标记5在第二照相机22的图像坐标系上的坐标位置进行测量。
此外，能够通过将在前述的第一检测部103的检测处理的说明中的第一照相机21、第一参数设定部102以及第一参数分别替换为第二照相机22、第二参数设定部104以及第二参数，来说明第二检测部105的检测处理，因此将其省略。
[校准部106]
校准部106将由机器人控制装置3移动的安装于机器人4的臂41的顶端的目标标记5的多个移动目的地处的、由第一照相机21拍摄的图像数据中的目标标记5在第一照相机21的图像坐标系上的坐标位置、由第二照相机22拍摄的图像数据中的目标标记5在第二照相机22的图像坐标系上的坐标位置以及通过第一照相机21或第二照相机22进行拍摄时的目标标记5在机器人坐标系上的坐标位置存储到检测结果存储部152。
校准部106基于检测结果存储部152中存储的、目标标记5在第一照相机21的图像坐标系上的坐标位置、目标标记5在第二照相机22的图像坐标系上的坐标位置以及通过第一照相机21和第二照相机22进行拍摄时的目标标记5在机器人坐标系上的坐标位置，来进行第一照相机21和第二照相机22的校准。能够个别地对第一照相机21和第二照相机22进行校准，这是不言而喻的。
图11是表示本实施方式所涉及的具备第一照相机21和第二照相机22的立体照相机2的校准处理中的视觉传感器控制装置1(CPU 10)的处理的流程图。此外，进行校准的范围是预先设定的。
在步骤S11中，CPU 10(模型图案生成部101)根据操作员的操作，利用第一照相机21来生成模型图案。
在步骤S12中，CPU 10(第一参数设定部102)根据操作员的指定，设定针对第一照相机21的第一参数。
在步骤S13中，CPU 10(第二参数设定部104)基于由第一参数设定部102设定的第一参数来设定用于从由第二照相机22拍摄的图像数据检测目标标记5的模型图案的第二参数。
在步骤S14中，CPU 10(校准部106)将用于对测量次数进行计数的测量计数值设定为1。
在步骤S15中，CPU 10(校准部106)获取由机器人控制装置3测量出的目标标记5在机器人坐标系上的三维坐标位置。
在步骤S16中，CPU 10(第一检测部103)从由第一照相机21拍摄的图像数据检测目标标记5，对检测出的目标标记5在第一照相机21的图像坐标系上的坐标位置进行测量。
在步骤S17中，CPU 10(第二检测部105)从由第二照相机22拍摄的图像数据检测目标标记5，对检测出的目标标记5在第二照相机22的图像坐标系上的坐标位置进行测量。
在步骤S18中，CPU 10(校准部106)将当前位置下的目标标记5在机器人坐标系上的三维坐标位置、在第一照相机21的图像坐标系上的坐标位置以及在第二照相机22的图像坐标系上的坐标位置进行关联。
在步骤S19中，CPU 10(校准部106)将用于对测量次数进行计数的测量计数值加1。
在步骤S20中，在测量计数值未超过规定的值的情况下，转移至步骤S21。在测量计数值超过规定的值的情况下(是)，转移至步骤S22。在测量计数值未超过规定的值的情况下(否)，转移至步骤S21。
在步骤S21中，机器人控制装置3将安装于机器人4的臂41的顶端的目标标记5移动至预先设定的进行校准的范围内的能够从第一照相机21或第二照相机22处进行测量的场所。之后，转移至步骤S15。
在步骤S22中，CPU 10(校准部106)基于在步骤18中存储的、目标标记5在机器人坐标系上的三维坐标位置、在第一照相机21的图像坐标系上的坐标位置以及在第二照相机22的图像坐标系上的坐标位置的关系，来执行第一照相机21和第二照相机22的校准。
此外，本处理流程是一个例子，并不限定于此。
根据本实施方式，视觉传感器控制装置1具备：摄像控制部100，其利用第一照相机21和第二照相机22在多个移动目的地拍摄由机器人4移动的安装于机器人4的目标标记5；第一参数设定部102，其设定用于从由第一照相机21拍摄的图像数据检测目标标记5的模型图案的第一参数；以及第二参数设定部104，其基于由第一参数设定部102设定的第一参数来设定用于从由第二照相机2拍摄的图像数据检测目标标记5的模型图案的第二参数。
由此，在对如立体照相机2那样的多个照相机进行校准时，例如，仅对第一照相机21设定第一参数，对于第二照相机22，通过第二参数设定部104基于第一参数来设定第二参数，因此能够不按多个照相机中的每个照相机来进行模型图案的制作和用于检测目标标记的参数设定，效率提高。
目标标记5安装于机器人4的臂顶端，该目标标记5在机器人4的指尖坐标系上的三维的位置及姿势是预先求出的。
由此，能够检测各种目标标记5。
第一参数和第二参数包括单一的数值、开/关值或具有范围的参数。
由此，能够检测各种目标标记5。
由第二参数设定部104初始设定的第二参数被设定成：能够从由第二照相机22拍摄的图像检测出全部的能够利用由第一参数设定部104设定的第一参数从由第一照相机21拍摄的图像数据检测出的目标标记。
由此，能够检测各种目标标记5。
在第一参数具有规定的范围的情况下，第二参数设定部104以在能够从由第二照相机22拍摄的图像数据检测出目标标记5时使用的第二参数的值为中心，设定该第一参数的规定的范围中的相对于中心值的偏差的大小的范围，来作为第二参数的范围。
由此，能够使从由第二照相机22拍摄的图像数据检测安装于机器人4的目标标记5的处理高效化。
另外，第一参数和第二参数分别包括与目标标记5的模型图案、尺寸以及变形有关的参数。
由此，能够使从由第二照相机22拍摄的图像数据检测安装于机器人4的目标标记5的处理高效化。
另外，能够使第一参数和第二参数分别为应用于目标标记5的模型图案的参数。
另外，能够使第一参数和第二参数分别为应用于由第一照相机21拍摄的图像数据和由第二照相机22拍摄的图像数据的参数。
由此，能够检测各种目标标记5。
本实施方式中的校准方法具备以下步骤：摄像控制部步骤，利用第一照相机21和第二照相机22在多个移动目的地拍摄由机器人4移动的安装于机器人4的目标标记5；第一参数设定部步骤，设定用于从由第一照相机21拍摄的图像数据检测目标标记5的模型图案的第一参数；以及第二参数设定步骤，基于通过第一参数设定步骤设定的第一参数来设定用于从由第二照相机2拍摄的图像数据检测目标标记5的模型图案的第二参数。
由此，起到与视觉传感器控制装置1同样的效果。
本实施方式中的程序使计算机执行以下步骤：摄像控制部步骤，利用第一照相机21和第二照相机22在多个移动目的地拍摄由机器人4移动的安装于机器人4的目标标记5；第一参数设定部步骤，设定用于从由第一照相机21拍摄的图像数据检测目标标记5的第一参数；以及第二参数设定步骤，基于通过第一参数设定步骤设定的第一参数来设定用于从由第二照相机2拍摄的图像数据检测目标标记5的第二参数。
由此，起到与视觉传感器控制装置1同样的效果。
以上说明了本发明的实施方式，但是本发明不限于前述的实施方式。另外，本实施方式所记载的效果只不过列举了本发明所产生的最佳的效果，本发明的效果并不限定于本实施方式所记载的效果。
在本实施方式中，作为校准装置，应用了视觉传感器控制装置1，但是不限定于此。也可以将使视觉传感器控制装置1与机器人控制装置3为一体的控制装置设为校准装置。另外，作为校准装置，能够指整个信息处理装置(计算机)。在校准装置中例如也可以应用服务器、PC、各种控制装置等。
通过软件来实现利用视觉传感器控制装置1的校准方法。在通过软件来实现的情况下，构成该软件的程序被安装在计算机(视觉传感器控制装置1)中。另外，这些程序既可以记录在可移动介质中来分发给用户，也可以经由网络下载到用户的计算机上由此进行分发。

Claims (10)

1.一种校准装置，使立体照相机所具备的第一照相机的图像坐标系上的位置信息和所述立体照相机所具备的第二照相机的图像坐标系上的位置信息中的至少一方与机器人的机器人坐标系上的位置信息相对应，所述校准装置具备：
模型图案生成部，其生成安装于机器人的目标标记的模型图案；
第一参数设定部，其基于所述模型图案，设定用于从由所述第一照相机拍摄的图像数据检测所述目标标记的第一参数；
第二参数设定部，其基于所述模型图案，基于由所述第一参数设定部设定的所述第一参数来设定用于从由所述第二照相机拍摄的图像数据检测所述目标标记的第二参数；
摄像控制部，其在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；
第一检测部，其使用所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；
第二检测部，其使用所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及
校准部，其基于由所述第一检测部测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、由所述第二检测部测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
2.根据权利要求1所述的校准装置，其特征在于，
所述目标标记安装于所述机器人的臂顶端，该目标标记在所述机器人的指尖坐标系上的三维的位置及姿势是预先求出的。
3.根据权利要求1或2所述的校准装置，其特征在于，
所述第一参数和所述第二参数包括单一的数值、开/关值或者具有范围的参数。
4.根据权利要求1～3中的任一项所述的校准装置，其特征在于，
由所述第二参数设定部初始设定的所述第二参数被设定成：能够从由所述第二照相机拍摄的图像检测出全部的能够利用由所述第一参数设定部设定的所述第一参数从由所述第一照相机拍摄的图像数据检测出的所述目标标记。
5.根据权利要求4所述的校准装置，其特征在于，
在所述第一参数具有规定的范围的情况下，所述第二参数设定部以在能够从由所述第二照相机拍摄的图像数据检测出所述目标标记时使用的第二参数的值为中心，设定所述第一参数中的相对于中心值的偏差的大小的范围，来作为所述第二参数的范围。
6.根据权利要求1～5中的任一项所述的校准装置，其特征在于，
所述第一参数和所述第二参数分别包括与所述目标标记的模型图案、尺寸以及变形有关的参数。
7.根据权利要求4～6中的任一项所述的校准装置，其特征在于，
所述第一参数和所述第二参数分别是应用于所述目标标记的模型图案的参数，
所述第一检测部利用应用了所述第一参数的模型图案来从由所述第一照相机拍摄的图像数据检测目标标记，
所述第二检测部利用应用了所述第二参数的模型图案来从由所述第二照相机拍摄的图像数据检测目标标记。
8.根据权利要求1～6中的任一项所述的校准装置，其特征在于，
所述第一参数和所述第二参数分别是应用于由所述第一照相机拍摄的图像数据和由所述第二照相机拍摄的图像数据的参数，
所述第一检测部从对由所述第一照相机拍摄的图像数据应用所述第一参数所得到的图像数据检测所述目标标记，
所述第二检测部从对由所述第二照相机拍摄的图像数据应用所述第二参数所得到的图像数据检测所述目标标记。
9.一种由校准装置执行的校准方法，该校准装置使立体照相机所具备的第一照相机的图像坐标系上的位置信息、所述立体照相机所具备的第二照相机的图像坐标系上的位置信息以及机器人的机器人坐标系上的位置信息相对应，所述校准方法具备通过所述校准装置执行的以下步骤：
模型图案生成步骤，生成安装于机器人的目标标记的模型图案；
第一参数设定步骤，基于所述模型图案，设定用于从由所述第一照相机拍摄的图像数据检测所述目标标记的第一参数；
第二参数设定步骤，基于所述模型图案，基于通过所述第一参数设定步骤设定的所述第一参数来设定用于从由所述第二照相机拍摄的图像数据检测所述目标标记的第二参数；
摄像控制步骤，在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；
第一检测步骤，使用所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；
第二检测步骤，使用所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及
校准步骤，基于通过所述第一检测步骤测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、通过所述第二检测步骤测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
10.一种计算机能够读取的介质，记录有程序，该程序使计算机执行以下步骤：
模型图案生成步骤，生成安装于机器人的目标标记的模型图案；
第一参数设定步骤，基于所述模型图案，设定用于从由第一照相机拍摄的图像数据检测所述目标标记的第一参数；
第二参数设定步骤，基于所述模型图案，基于通过所述第一参数设定步骤设定的所述第一参数来设定用于从由第二照相机拍摄的图像数据检测所述目标标记的第二参数；
摄像控制步骤，在多个移动目的地通过所述第一照相机和所述第二照相机来拍摄由所述机器人移动的安装于所述机器人的目标标记；
第一检测步骤，使用所述第一参数的值，从由所述第一照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置；
第二检测步骤，使用所述第二参数的值，从由所述第二照相机拍摄的图像数据检测所述目标标记，测量所检测出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置；以及
校准步骤，基于通过所述第一检测步骤测量出的所述目标标记在所述第一照相机的图像坐标系上的坐标位置、通过所述第二检测步骤测量出的所述目标标记在所述第二照相机的图像坐标系上的坐标位置、以及通过所述第一照相机和所述第二照相机进行拍摄时的所述目标标记在所述机器人坐标系上的坐标位置，来进行所述第一照相机和所述第二照相机的校准。
CN201810023848.4A 2017-01-12 2018-01-10 校准装置、校准方法以及计算机能够读取的介质 Active CN108297096B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017003664A JP6527178B2 (ja) 2017-01-12 2017-01-12 視覚センサのキャリブレーション装置、方法及びプログラム
JP2017-003664 2017-01-12

Publications (2)

Publication Number Publication Date
CN108297096A true CN108297096A (zh) 2018-07-20
CN108297096B CN108297096B (zh) 2020-02-07

Family

ID=62782207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023848.4A Active CN108297096B (zh) 2017-01-12 2018-01-10 校准装置、校准方法以及计算机能够读取的介质

Country Status (4)

Country Link
US (1) US10434654B2 (zh)
JP (1) JP6527178B2 (zh)
CN (1) CN108297096B (zh)
DE (1) DE102018200155B4 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193862A (zh) * 2018-11-14 2020-05-22 发那科株式会社 照相机校正装置以及照相机校正方法
CN111195897A (zh) * 2018-11-20 2020-05-26 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
CN111331592A (zh) * 2018-12-19 2020-06-26 财团法人工业技术研究院 机械手臂工具中心点校正装置及其方法以及机械手臂系统
CN111947568A (zh) * 2019-05-15 2020-11-17 欧姆龙株式会社 计测系统、计测装置、计测方法以及记录介质
CN113195171A (zh) * 2018-11-01 2021-07-30 泰连服务有限公司 用于带有工具偏移量的相机-机器人系统的自动校准
CN113302027A (zh) * 2019-01-30 2021-08-24 株式会社富士 作业坐标生成装置
CN114734444A (zh) * 2022-04-27 2022-07-12 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质
CN115004274A (zh) * 2020-01-14 2022-09-02 京瓷株式会社 图像处理装置、拍摄装置、信息处理装置、检测装置、路侧机、图像处理方法及校正方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
WO2018181249A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP7122694B2 (ja) 2017-03-31 2022-08-22 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP6886620B2 (ja) * 2017-08-09 2021-06-16 オムロン株式会社 キャリブレーション方法、キャリブレーションシステム及びプログラム
JP7062911B2 (ja) * 2017-10-11 2022-05-09 セイコーエプソン株式会社 ロボットシステム
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US20210215811A1 (en) * 2018-07-06 2021-07-15 Brain Corporation Systems, methods and apparatuses for calibrating sensors mounted on a device
WO2020024909A1 (zh) * 2018-08-02 2020-02-06 广东虚拟现实科技有限公司 定位跟踪方法、终端设备及计算机可读取存储介质
CN109615662A (zh) * 2018-12-04 2019-04-12 中冶赛迪工程技术股份有限公司 一种坐标系标定方法、系统、计算机可读存储介质及设备
CN109262659B (zh) * 2018-12-20 2019-04-02 中国铁建重工集团有限公司 一种机械臂关节传感器的零位校准方法和设备
KR102577448B1 (ko) * 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
DE102019107964B3 (de) 2019-03-28 2020-08-06 Franka Emika Gmbh Projektionseinrichtung für einen Robotermanipulator
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
WO2020235541A1 (ja) * 2019-05-20 2020-11-26 国立大学法人東京大学 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
CN110378898B (zh) * 2019-07-26 2021-07-16 金瓜子科技发展（北京）有限公司 一种信标定位的方法、装置、存储介质及设备
CN111546328B (zh) * 2020-04-02 2022-06-24 天津大学 基于三维视觉测量的手眼标定方法
CN112720470B (zh) * 2020-12-18 2022-05-13 南京中科煜宸激光技术有限公司 用于增材加工的机械臂tcp手动快速标定装置及方法
CN112710662A (zh) * 2020-12-25 2021-04-27 深圳中科飞测科技股份有限公司 生成方法及装置、生成系统和存储介质
WO2023102647A1 (en) * 2021-12-06 2023-06-15 University Of Manitoba Method for automated 3d part localization and adjustment of robot end-effectors
DE102022003666A1 (de) 2022-10-05 2023-01-26 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Kalibrierung von Werkzeugen eines Roboters in einem Produktionsprozess

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
US20090118864A1 (en) * 2007-11-01 2009-05-07 Bryce Eldridge Method and system for finding a tool center point for a robot using an external camera
CN103702607A (zh) * 2011-07-08 2014-04-02 修复型机器人公司 相机系统的坐标系统的校准和变换
JP2015066603A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 ロボット校正装置及びロボット校正方法、並びにロボット装置及びロボット装置の制御方法
CN103372862B (zh) * 2012-04-12 2016-06-29 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
DE102015104582A1 (de) * 2015-03-26 2016-09-29 Pi4_Robotics Gmbh Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
US5951475A (en) * 1997-09-25 1999-09-14 International Business Machines Corporation Methods and apparatus for registering CT-scan data to multiple fluoroscopic images
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
JP2002172575A (ja) 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
DE102004024378B4 (de) 2004-05-17 2009-05-20 Kuka Roboter Gmbh Verfahren zur robotergestützten Vermessung von Objekten
DE102004026814A1 (de) 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts
EP2075096A1 (de) 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
US8229595B2 (en) * 2008-06-19 2012-07-24 Seelinger Michael J Method and system for providing autonomous control of a platform
US8265376B2 (en) * 2008-07-21 2012-09-11 Cognitens Ltd. Method and system for providing a digital model of an object
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US9734419B1 (en) * 2008-12-30 2017-08-15 Cognex Corporation System and method for validating camera calibration in a vision system
JP5365218B2 (ja) * 2009-01-28 2013-12-11 富士電機株式会社 ロボットビジョンシステムおよび自動キャリブレーション方法
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
US9179106B2 (en) * 2009-12-28 2015-11-03 Canon Kabushiki Kaisha Measurement system, image correction method, and computer program
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
WO2012037085A1 (en) * 2010-09-16 2012-03-22 Siemens Corporation Active lighting for stereo reconstruction of edges
JP5806606B2 (ja) * 2011-12-01 2015-11-10 キヤノン株式会社 情報処理装置、情報処理方法
US9258550B1 (en) * 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
JP6511715B2 (ja) * 2013-10-31 2019-05-15 セイコーエプソン株式会社 ロボット制御装置、ロボットシステム、及びロボット
JP2015174191A (ja) * 2014-03-17 2015-10-05 株式会社安川電機 ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法
CN111616666A (zh) * 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
WO2015151098A2 (en) * 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
WO2015161297A1 (en) * 2014-04-17 2015-10-22 The Johns Hopkins University Robot assisted ultrasound system
US11070793B2 (en) * 2015-07-31 2021-07-20 Cognex Corporation Machine vision system calibration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101100061A (zh) * 2006-07-03 2008-01-09 发那科株式会社 测量装置以及校准方法
US20090118864A1 (en) * 2007-11-01 2009-05-07 Bryce Eldridge Method and system for finding a tool center point for a robot using an external camera
CN103702607A (zh) * 2011-07-08 2014-04-02 修复型机器人公司 相机系统的坐标系统的校准和变换
CN103372862B (zh) * 2012-04-12 2016-06-29 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
JP2015066603A (ja) * 2013-09-26 2015-04-13 キヤノン株式会社 ロボット校正装置及びロボット校正方法、並びにロボット装置及びロボット装置の制御方法
DE102015104582A1 (de) * 2015-03-26 2016-09-29 Pi4_Robotics Gmbh Verfahren zum Kalibrieren eines Roboters an einem Arbeitsbereich und System zum Durchführen des Verfahrens

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113195171B (zh) * 2018-11-01 2024-03-08 泰连服务有限公司 用于带有工具偏移量的相机-机器人系统的自动校准
CN113195171A (zh) * 2018-11-01 2021-07-30 泰连服务有限公司 用于带有工具偏移量的相机-机器人系统的自动校准
CN111193862B (zh) * 2018-11-14 2022-06-07 发那科株式会社 照相机校正装置以及照相机校正方法
CN111193862A (zh) * 2018-11-14 2020-05-22 发那科株式会社 照相机校正装置以及照相机校正方法
US11403780B2 (en) 2018-11-14 2022-08-02 Fanuc Corporation Camera calibration device and camera calibration method
CN111195897A (zh) * 2018-11-20 2020-05-26 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
US11524406B2 (en) 2018-11-20 2022-12-13 Industrial Technology Research Institute Calibration method and device for robotic arm system
CN111195897B (zh) * 2018-11-20 2021-09-14 财团法人工业技术研究院 用于机械手臂系统的校正方法及装置
CN111331592B (zh) * 2018-12-19 2021-05-25 财团法人工业技术研究院 机械手臂工具中心点校正装置及其方法以及机械手臂系统
US11247340B2 (en) 2018-12-19 2022-02-15 Industrial Technology Research Institute Method and apparatus of non-contact tool center point calibration for a mechanical arm, and a mechanical arm system with said calibration function
CN111331592A (zh) * 2018-12-19 2020-06-26 财团法人工业技术研究院 机械手臂工具中心点校正装置及其方法以及机械手臂系统
CN113302027A (zh) * 2019-01-30 2021-08-24 株式会社富士 作业坐标生成装置
CN113302027B (zh) * 2019-01-30 2023-12-22 株式会社富士 作业坐标生成装置
US11193755B2 (en) 2019-05-15 2021-12-07 Omron Corporation Measurement system, measurement device, measurement method, and measurement program
CN111947568A (zh) * 2019-05-15 2020-11-17 欧姆龙株式会社 计测系统、计测装置、计测方法以及记录介质
CN115004274A (zh) * 2020-01-14 2022-09-02 京瓷株式会社 图像处理装置、拍摄装置、信息处理装置、检测装置、路侧机、图像处理方法及校正方法
CN114734444A (zh) * 2022-04-27 2022-07-12 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质
CN114734444B (zh) * 2022-04-27 2023-06-27 博众精工科技股份有限公司 一种目标定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2018111165A (ja) 2018-07-19
DE102018200155A1 (de) 2018-08-16
CN108297096B (zh) 2020-02-07
US10434654B2 (en) 2019-10-08
JP6527178B2 (ja) 2019-06-05
US20180194007A1 (en) 2018-07-12
DE102018200155B4 (de) 2020-08-06

Similar Documents

Publication Publication Date Title
CN108297096A (zh) 校准装置、校准方法以及计算机能够读取的介质
CN108297095B (zh) 校准装置、校准方法以及计算机能够读取的介质
CN106859675B (zh) 用3d相机进行的用于x射线管的扫描仪自动化的方法和系统
CN105818167B (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP1952354B1 (en) Determining camera motion
JP4930927B2 (ja) ブレ測定システムおよびブレ測定方法
JP5388932B2 (ja) 情報処理装置およびその制御方法
US10430650B2 (en) Image processing system
CN106945035A (zh) 机器人控制设备及其控制方法和机器人系统
JP2008506953A5 (zh)
CN112861598A (zh) 用于人体模型估计的系统和方法
US10810738B1 (en) Marker-less alignment of digital 3D face and jaw models
JP2017187861A5 (zh)
JP2017003525A (ja) 三次元計測装置
US20210042576A1 (en) Image processing system
CN110163914A (zh) 基于视觉的定位
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
KR101575934B1 (ko) 관성 센서 및 광학 센서를 이용한 모션 캡쳐 장치 및 방법
JP2001349706A (ja) 位置検出方法及び装置，画像処理方法，シート並びに記録媒体
JP6403447B2 (ja) 情報処理装置、指標校正のための撮影案内方法、コンピュータプログラム
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP2021049262A (ja) 画像処理システム及びその制御方法
JP2021049248A (ja) 画像処理システム及びその制御方法
JP2020149163A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant