CN109382821B - 校准方法、校准系统及程序 - Google Patents

校准方法、校准系统及程序 Download PDF

Info

Publication number
CN109382821B
CN109382821B CN201810768081.8A CN201810768081A CN109382821B CN 109382821 B CN109382821 B CN 109382821B CN 201810768081 A CN201810768081 A CN 201810768081A CN 109382821 B CN109382821 B CN 109382821B
Authority
CN
China
Prior art keywords
image
data
display device
displayed
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810768081.8A
Other languages
English (en)
Other versions
CN109382821A (zh
Inventor
殿谷德和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109382821A publication Critical patent/CN109382821A/zh
Application granted granted Critical
Publication of CN109382821B publication Critical patent/CN109382821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39024—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了校准方法、校准系统及程序，其无需准备印刷有多个图案的校准目标而能够进行校准。在具备显示装置(D)、拍摄装置(S)和固定显示装置(D)和拍摄装置(S)中的任一个并具有驱动轴的机器人臂(R)的机器人系统中，校准拍摄装置(S)的坐标系和机器人臂(R)的坐标系。包括：基于第一图像数据，取得第一拍摄数据的步骤；基于与第一图像数据不同的第二图像数据，取得第二拍摄数据的步骤；以及使用第一拍摄数据以及第二拍摄数据，校准拍摄装置(S)的坐标系和机器人臂(R)的坐标系的步骤。

Description

校准方法、校准系统及程序
技术领域
本发明涉及校准方法、校准系统及程序。
背景技术
以往，作为进行机器人的坐标系和图像传感器的坐标系之间的相对的位置姿势的校准方法，已知通过图像传感器拍摄印刷有点(dot)、多边形状的符号标记的平板(校准目标)并基于拍摄图像进行校准运算的方法。
例如，专利文献1中记载了以降低动作中具有滞后特性的多关节机器人的校准误差为目的的校准方法。具体而言，其为使用校准目标校准机器人的坐标系和图像传感器的坐标系而校准的方法，在第一测定点进行通过拍摄装置的拍摄，当使机器人的姿势向机器人的姿势不同的第二测定点移动时，经由预先设定的特定的点而到达第二测定点。
【现有技术文献】
【专利文献】
专利文献1：日本特开2015-182144号公报
当使用校准目标进行机器人的坐标系和拍摄装置的坐标系的位置关系的校准时，校准的运算基于拍摄装置在各测定点取得的校准目标的拍摄图像进行。因此，优选校准目标的形式根据测定条件而适当地选择。
但是，专利文献1公开的校准方法，由于使用预先设定的多个点以及印刷有符号标记的单个的校准目标(印刷物)，因此，有时由于拍摄图像而无确保校准的精度。并且，为了确保校准的精度，需要准备由多个图案印刷的校准目标的印刷物，校准的工序增加。
发明内容
因此，本发明的目的在于，提供无须准备由多个图案印刷的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准的校准方法、系统以及程序。
本发明的一方式涉及的校准方法，在具备显示装置、拍摄装置和显示装置或者拍摄装置的任一方被固定并具有驱动轴的机器人臂的机器人系统中，校准拍摄装置的坐标系和机器人臂的坐标系。并且，该校准方法包括如下步骤：基于第一图像数据使第一图像显示于显示装置的步骤；使用拍摄装置，拍摄显示于显示装置的第一图像而取得第一拍摄数据的步骤；基于与第一图像数据不同的第二图像数据，使第二图像显示于显示装置的步骤；使用拍摄装置，拍摄显示于显示装置的第二图像，取得第二拍摄数据的步骤；使用第一拍摄数据以及第二拍摄数据，校准拍摄装置的坐标系和机器人臂的坐标系的步骤。
根据该方式，无须准备印刷有多个图案的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准。并且，由于能够使用显示形式不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。
在上述方式中，就第一图像数据和第二图像数据而言，示出所显示的图像的图案的数据或者示出所显示的图像的亮度的数据可以不同。
根据该方式，能够根据周围的亮度等，显示适合校准的亮度的图像图案。例如，存在在使用拍摄装置而测定图像的每个测定点，亮度的条件根据照明的角度或照度等而不同的情况；或者，即使为同一测定点，亮度的条件也会变化的情况。因此，根据本方式，由于能够根据不同的亮度的条件显示适当的图像图案，因此，能够使校准的精度提高。
进一步，根据本方式，由于能够使显示的图像的图案不同，因此，能够提高校准的精度。也就是说，由于能够使用图案不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。并且，由于能够根据进行拍摄的环境而使图案不同，因此，能够提高校准的精度。
在上述方式中，就第一图像数据和第二图像数据而言，在示出所显示的图像的图案的数据中，关于显示于显示装置的图像的至少一个像素的颜色的数据可以不同。
根据该方式，能够增加拍摄数据的信息，能够提高校准的精度。
在上述方式中，还包括在取得第一拍摄数据之后，使用机器人臂变更显示装置和拍摄装置的相对位置的步骤，在变更相对位置的步骤之后，执行取得第二拍摄数据的步骤。
根据该方式，在相对位置不同的位置，分别拍摄基于不同的图像数据而显示的图像，取得拍摄数据，由于通过上述方式构成，因此，能够提高校准的精度。例如，在显示装置和拍摄装置的相对位置不同的测定点，在使机器人臂动作前后，取得不同的拍摄数据而进行校准的计算，由于如上地构成，能够选择对应于显示装置和拍摄装置的相对的位置关系等的测定条件的适当的图像，能够提高校准的精度。
在上述方式中，在使第一图像显示的步骤和使第二图像显示的步骤中，第一图像数据或者第二图像数据可以以如下方式构成：所显示的第一图像或者第二图像的图案的大小根据机器人臂的前端的坐标而变更。
根据该方式，由于以图像图案的大小根据机器人臂的前端的坐标而不同的方式变更图像数据，因此，能够根据显示装置和拍摄装置的相对位置关系，显示适合校准的大小的图像图案。拍摄装置的坐标系和机器人臂的坐标系的校准，为了使得对于使用机器人臂的对象物的规定的处理(例如，对象物的把持、吸附、嵌合、卷取等)的精度提高而进行。因此，通过以图像图案的大小根据作用于对象物的机器人臂的前端的坐标而不同的方式变更图像数据，使用基于不同的图像图案的多种拍摄图像进行校准，能够使校准的精度提高。
在上述方式中，在使第一图像显示的步骤和使第二图像显示的步骤中，第一图像数据或者第二图像数据可以以如下方式构成：所显示的第一图像或者第二图像的图案的大小根据拍摄装置和显示装置的距离而变更。
根据该方式，能够根据显示装置和拍摄装置的相对距离，显示适合校准的大小的图像图案。基于拍摄图像的拍摄装置的坐标系和机器人臂的坐标系的校准的精度，被拍摄装置以怎样的程度是否能够正确地识别图像图案的大小所左右。在此，例如，从拍摄装置至显示装置的距离长的情况与短的情况相比，拍摄图像所包含的图像图案变小。因此，优选的是，根据从拍摄装置至显示装置的距离，选择适当大小的图像图案。因此，根据本方式，对应于拍摄装置和显示装置之间的相对距离，基于拍摄装置的识别精度高的图像图案显示图像，因此，能够使校准的精度提高。
在上述方式中，变更显示装置和拍摄装置的相对位置的步骤，包括变更显示装置和拍摄装置的相对角度的步骤，就第一图像数据和第二图像数据而言，至少示出所显示的图像的亮度的数据可以不同。
根据该方式，能够根据对应于显示装置和拍摄装置的相对角度而变化的亮度等，显示适合校准的亮度的图像图案。例如，在使显示装置显示图像图案的情况下，存在于显示装置和拍摄装置的角度不同的每个测定点，亮度的条件不同的情况。因此，会发生拍摄装置无法识别显示于显示装置的图像的状况。该状况多发生于显示装置和照明的相对的角度为规定的范围的情况。但是，根据本方式，在变更显示装置和拍摄装置的相对角度的步骤的前后，使图像数据的亮度调节不同。因此，由于能够对应于每个测定点不同的亮度条件显示适当的亮度的图像图案，因此，能够通过拍摄装置更为确实地拍摄显示于显示装置的图像，能够使校准的精度提高。此外，变更显示装置和拍摄装置的相对角度的步骤，可以与变更显示装置和拍摄装置的相对位置的步骤同时地进行。
在上述方式中，取得所述第一拍摄数据的步骤中的、拍摄装置相对于显示装置的相对的位置姿势，可以和取得第二拍摄数据的步骤中的、拍摄装置相对于显示装置的相对的位置姿势相同。
根据该方式，能够增加同一测定点的拍摄数据的信息量，校准的精度提高。具体而言，代入校准运算式的各项的数值信息变为多个。通过多个数值信息进行运算，例如，通过对于算出的多个变换矩阵(由于使图案不同，因此变换矩阵的值会产生微差)进行加权平均等，能够得到更为减小误差的变换矩阵)
在上述方式中，显示装置具备：用于计测亮度的传感器、基于传感器的检测值变更第一图像数据或者所述第二图像数据的运算部，在使第一图像显示的步骤和使第二图像显示的步骤中，第一图像数据或者第二图像数据可以以如下方式构成：所显示的第一图像或者第二图像的亮度根据用于计测亮度的传感器的检测值而变更。
根据该方式，能够根据显示装置所具备的传感器的检测值，使适当亮度的图像图案显示。例如，在每个测定点不同的适当的亮度的图像图案的设定中，优选的是，检测以怎样的条件向由拍摄装置拍摄的被拍摄物照射光。因此，根据本方式，由于基于该照明、自然光等所照射的被拍摄物(显示装置)所具备的传感器的检测值选择适当的亮度的图像图案，因此，能够显示适合每个测定点不同的亮度条件的适当的亮度的图像图案，能够使校准的精度提高。在上述方式中，显示装置具备：用于输入信息的输入部、基于输入的信息变更第一图像数据或者所述第二图像数据的运算部，在使第一图像显示的步骤和使第二图像显示的步骤中，第一图像数据或者第二图像数据可以以如下方式构成：所显示的第一图像或者第二图像的图案的大小及亮度根据输入的信息而变更。
根据该方式，基于从显示装置所具备的输入部输入的信息，能够显示适合校准的大小以及亮度的图像图案。也就是说，由于对于显示装置的输入部预先或者基于每次拍摄图像而输入的信息适当地变更图像图案，因此，能够简易地实现图像图案的选择，在实现作业工序的削减的同时，使校准的精度提高。
在上述方式中，显示装置和机器人臂被固定，显示装置具备用于计测移动量的传感器，就第一图像数据或者第二图像数据而言，所显示的第一图像或者第二图像的图案的大小，可以基于由传感器计测的移动量而决定。
根据该方式，使用显示装置所具备的传感器，能够显示适合校准的大小的图像图案。也就是说，由于显示装置能够根据其移动量变更显示的图像图案，因此，能够通过简易的结构进行图像图案的变更，在实现作业工序的削减的同时使校准的精度提高。
在上述方式中，显示装置和机器人臂被固定，显示装置具备用于计测斜度的传感器，示出基于第一图像数据以及第二图像数据的至少一方而显示的图像的亮度的数据，可以基于由传感器计测的斜度的大小而决定。根据该方式，使用显示装置所具备的传感器，能够显示适合校准的大小的图像图案。也就是说，由于显示装置能够根据其斜度变更显示的图像图案，因此，能够通过简易的结构进行图像图案的变更，在实现作业工序的削减的同时使校准的精度提高。
本发明的一方式涉及的校准方法，其为使用显示装置、拍摄装置和被固定于显示装置或者拍摄装置的任一方并能够变更显示装置和拍摄装置的相对位置的机器人臂，校准拍摄装置和机器人臂的相对的位置关系的方法，包括如下步骤：基于第一图像数据使第一图像显示于显示装置的步骤；使用拍摄装置，拍摄显示于显示装置的第一图像而取得第一拍摄数据的步骤；使用第一拍摄数据，校准拍摄装置和机器人臂的相对的位置关系的步骤。
根据该方式，无须准备印刷有多个图案的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准。
在上述方式中，就第一图像数据而言，示出所显示的图像的图案的数据或者示出所显示的图像的亮度的数据，可以以根据拍摄环境而决定的方式构成。
根据本方式，由于能够根据测定点的拍摄环境使用适当的图像数据进行校准，因此，能够使校准的精度提高。
本发明的一方式涉及的程序为在具备显示装置、拍摄装置和显示装置或者拍摄装置的任一方被固定并具有驱动轴的机器人臂的机器人系统中，用于执行校准拍摄装置的坐标系和机器人臂的坐标系的方法的程序，使计算机执行如下步骤：基于第一图像数据使第一图像显示于显示装置的步骤；使拍摄装置拍摄显示于显示装置的第一图像而取得第一拍摄数据的步骤；基于与第一图像数据不同的第二图像数据，使第二图像显示于显示装置的步骤；使拍摄装置拍摄显示于显示装置的第二图像，取得第二拍摄数据的步骤；使用第一拍摄数据以及第二拍摄数据，校准拍摄装置的坐标系和机器人臂的坐标系的步骤。
根据该方式，能够提供一种用于使计算机执行无须准备印刷有多个图案的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准的程序。并且，由于能够使用显示形式不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。
在上述方式中，就第一图像数据和第二图像数据而言，示出所显示的图像的图案的数据或者示出所显示的图像的亮度的数据可以不同。
根据该方式，能够根据周围的亮度等，显示适合校准的亮度的图像图案。例如，存在在使用拍摄装置而测定图像的每个测定点，亮度的条件根据照明的角度或照度等而不同的情况；或者，即使为同一测定点，亮度的条件也会变化的情况。因此，根据本方式，由于能够根据不同的亮度的条件显示适当的图像图案，因此，能够使校准的精度提高。
进一步，根据本方式，由于能够使显示的图像的图案不同，因此，能够提高校准的精度。也就是说，由于能够使用图案不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。并且，由于能够根据进行拍摄的环境而使图案不同，因此，能够提高校准的精度。
在上述方式中，就所述第一图像数据和所述第二图像数据而言，在示出所显示的图像的图案的数据中，关于显示于所述显示装置的图像的至少一个像素的颜色的数据可以不同。
根据该方式，能够增加拍摄数据的信息，能够提高校准的精度。
本发明的一方式涉及的校准系统，具备：显示装置，用于基于第一图像数据显示第一图像，并且，基于与第一图像数据不同的第二图像数据显示第二图像；拍摄装置，用于分别拍摄第一图像以及第二图像，分别取得第一拍摄数据以及第二拍摄数据；机器人臂，显示装置或者拍摄装置的任一方被固定并具有驱动轴；运算部，使用第一拍摄数据以及第二拍摄数据，进行用于校准拍摄装置的坐标系和机器人臂的坐标系的运算。
根据该方式，无须准备印刷有多个图案的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准。并且，由于能够使用显示形式不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。
在上述方式中，就第一图像数据和第二图像数据而言可以以如下方式构成：示出所显示的图像的图案的数据或者示出所显示的图像的亮度的数据不同。
根据该方式，能够根据周围的亮度等，显示适合校准的亮度的图像图案。例如，存在在使用拍摄装置而测定图像的每个测定点，亮度的条件根据照明的角度或照度等而不同的情况；或者，即使为同一测定点，亮度的条件也会变化的情况。因此，根据本方式，由于能够根据不同的亮度的条件显示适当的图像图案，因此，能够使校准的精度提高。
进一步，根据本方式，由于能够使显示的图像的图案不同，因此，能够提高校准的精度。也就是说，由于能够使用图案不同的多个拍摄图像进行校准，因此，能够使校准的精度提高。并且，由于能够根据进行拍摄的环境而使图案不同，因此，能够提高校准的精度。
在上述方式中，就第一图像数据和第二图像数据而言，可以以如下方式构成：在示出所显示的图像的图案的数据中，关于显示于显示装置的图像的至少一个像素的颜色的数据可以不同。
根据该方式，能够增加拍摄数据的信息，能够提高校准的精度。
发明效果
根据本发明，能够提供一种无须准备印刷有多个图案的校准目标而能够进行拍摄装置和机器人臂的相对的位置关系的校准的校准方法、系统以及程序。
附图说明
图1为校准系统10的功能框图。
图2为显示器22和机器人R被固定的情况下的校准方法的示意图。
图3为显示装置D的初始设定顺序。
图4的(a)～(d)为校准目标的例示。
图5为示出校准的方法的流程图。
图6为图像传感器S和机器人R被固定的情况下的校准方法的示意图。
图7为图像传感器和机器人的相对位置姿势的输入画面。
具体实施方式
以下，参照附图，对本发明的优选的实施方式进行说明(此外，在各图中付与相同符号的具有相同或者同等的结构)。以下，实施方式中说明的校准的方法，在具备显示装置、拍摄装置和显示装置或者拍摄装置的任一方被固定的机器人臂的机器人系统中，校准拍摄装置的坐标系和机器人臂的坐标系。基于图像数据的校准图案显示于显示装置。
在以下实施方式的任一中说明的校准方法中，显示装置包括显示器，该显示器显示校准图案、以及显示该校准图案时的图像的亮度的至少某一方不同的多个图像图案。
通过以下实施方式的任一所说明的校准方法中，显示装置以如下方式构成：根据拍摄环境变更图像图案，变更显示于显示器的图像的显示形式。所谓拍摄环境为起因于机器人系统的结构的环境，例如，作为显示器和拍摄装置的关系性可以列举拍摄装置和显示器之间的相对距离、相对姿势。并且，拍摄环境是指机器人系统的周围的环境，例如拍摄装置拍摄显示于显示器的图像图案时的周围的亮度。根据本方式，由于能够根据拍摄环境的变动使用适当的图像数据进行校准，因此，能够使校准的精度提高。
并且，在通过以下实施方式的任一所说明的校准方法中，显示装置在拍摄装置进行显示器的拍摄的一个测定点，可以根据拍摄环境决定显示于显示器的图像图案。据此，由于能够根据测定点的拍摄环境使用适当的图像数据进行校准，因此，能够使校准的精度提高。
并且，在通过以下实施方式的任一所说明的校准方法中，显示装置可以以如下方式构成：在拍摄装置进行显示器的拍摄的一个测定点，变更显示于显示器的图像图案，将显示形式不同的多个图像显示于显示器。据此，能够使在一个测定点取得的拍摄数据的信息量增大，能够提高校准的精度。
[第一实施方式]
图1为第一实施方式涉及的校准系统10的功能框图。该校准系统10包括：机器人R、具有用于控制机器人R的机器人控制部12的机器人控制器1。并且，校准系统10具备作为拍摄装置的图像传感器S。机器人控制器1以基于图像传感器S的拍摄图像控制机器人R的动作的方式构成。在本实施方式中，将包括机器人R、机器人控制器1、图像传感器S的系统称为机器人系统。校准系统10具备图像传感器用控制器2，该图像传感器用控制器2包括：用于控制该图像传感器S的传感器控制部14、用于处理通过图像传感器S拍摄的图像的图像处理部16、用于算出机器人R和图像传感器S间的校准参数的参数算出部18(运算部)。进一步，校准系统10具备显示装置D，该显示装置D包括：显示器22、用于将图像显示于该显示器22的显示控制部20。并且，各控制部、各处理部以及各算出部，分别通过后述的硬件处理器执行规定的程序而实现。各控制部、各处理部以及各算出部之间，以能够通过有线或者无线通信相互地发送/接收数据的方式构成。
机器人R为多轴多关节型的机器人臂R，且包括：被固定于底面的基座、作为可动轴而发挥作用的多个关节、伴随关节旋转动作的多个连杆，成为各连杆经由各关节而活动自如地连接的结构。机器人臂R的前端的连杆能够与末端执行器E连结。在本实施方式中，机器人臂R为基座和多个连杆经由关节串联连接的、具有六个自由度的垂直多关节机器人。
机器人控制部12配置于机器人控制器，该机器人控制器包括：存储用于控制机器人R的控制程序的存储装置、用于输出根据该控制程序而使设置于机器人R的各关节的各伺服电机旋转驱动的控制信号的处理器。
图像传感器S为用于拍摄图像而取得拍摄数据的拍摄装置，例如，通过CCD照相机构成。
传感器控制部14输出用于控制图像传感器S的控制信号。并且，图像处理部16对于通过图像传感器S取得的拍摄数据进行图像处理，向参数算出部18输出。传感器控制部14包括：存储用于运算用于控制图像传感器S的控制信号并输出的程序的控制装置、以及用于根据程序执行各运算处理的处理器。并且，图像处理部16包括：存储用于执行拍摄数据的图像处理并将该处理结果输出至参数算出部18的程序的存储装置、用于根据程序执行各运算处理的处理器。此外，传感器控制部14和图像处理部16一体地构成，可以具有共用的存储装置以及处理器。此外，传感器控制部14和图像处理部16，与后述的参数算出部18一体地构成，可以具有共用的存储装置以及处理器。
参数算出部18，通过用于执行本实施方式涉及的校准方法的计算机程序、存储该计算机程序以及处理中的数据以及后述的图像数据等的存储装置、根据计算机程序执行各种运算处理的处理器构成。
机器人控制部12、传感器控制部14、图像处理部16、参数算出部18、后述的显示控制部20的各个、或者选自上述的至少任意两个的运算处理所共通地使用的处理器，可以与CPU一起或者单独地使用CPU(中央处理器，Central Processing Unit)、GPU(图形处理单元，Graphic Processing Unit)、FPGA(现场可编程门阵列，Field Programmable GateArray)、DSP(数字信号处理器，Digital Signal Processor)、ASIC(专用集成电路，ApplicationSpecific Integrated Circuit)。并且，机器人控制部12、传感器控制部14、图像处理部16、参数算出部18、后述的显示控制部20的各个、或者选自上述的至少任意两个的运算处理所共通地使用的存储装置，包括HDD、SSD等的非易失性存储装置、DRAM、SRAM等的易失性存储装置。
在本实施方式中形成如下结构：将参数算出部18设置于图像传感器控制器2(图像传感器S侧)，通过该参数算出部18所具备的处理器执行本实施方式涉及的校准方法所需要的运算处理。这样，能够通过使用与机器人控制部12的处理器不同的处理器，能够使用于控制机器人R的命令处理、校准的参数算出所必要的运算处理的负载分散。
在其他实施方式中，以使用共用的硬件实现机器人控制部12、图像处理部16以及参数算出部18的至少一部分的方式构成。例如，既可以使用机器人控制器的处理器执行校准，也可以将用于控制机器人R的控制程序和用于执行校准的程序存储于共用的存储装置。关于这点，可以将机器人控制器1、图像传感器控制器2、显示装置D中的至少任意两个一体地构成，共用程序的存储装置以及执行各运算处理的处理器。
显示控制部20在生成用于将各种校准图案显示于显示器22的图像数据的同时，将生成的图像数据输出至显示器22。显示器22例如通过液晶显示器等构成，基于从显示控制部20接收到的图像数据显示图像。由显示控制部20及显示器22构成的显示装置D，例如可以将市售的平板或智能手机等作为硬件使用，但不限于此，也可以为这之外的液晶显示装置或有机EL显示装置。并且，在本实施方式中，将显示控制部20和显示器22作为一体而表现为显示装置D，也可以不将显示控制部20和显示器22一体化为显示装置D，可以将显示控制部20和显示器22分开设置。此时，显示器22可以具备：存储用于执行显示处理等的计算机程序以及处理中的数据等的存储装置、根据计算机程序执行各种运算处理的处理器。
此外，在本实施方式中，图像数据被存储于显示控制部20所具有的存储装置。并且，图像数据包括形成显示于显示装置D的图像的图像图案的信息。图像图案包括：作为显示于显示装置D的图像的花纹的校准图案和用于决定显示于显示装置D的图像的亮度的信息。关于校准图案的方式将于后述。
图2为示出将显示装置D(显示器22)固定于机器人R的同时执行校准的示例的示意图。通过把持显示装置D的同时使机器人R的机器人臂动作，对于拍摄装置S能够以各种相对角度以及相对位置显示图像图案。显示装置D通过连结于机器人R的前端的末端执行器E被把持固定。另一方面，拍摄装置S例如被固定于工厂的天井等。此外，显示装置D向机器人R的固定方法不限于通过末端执行器E把持。例如，可以将显示装置D经由固定夹具等的连接构造，固定于机器人臂R的前端的连杆，也可以经由规定的连接构造固定于构成机器人臂R的连杆。此外，在将显示装置D固定于构成机器人臂R的连杆的情况下，优选的是，固定于机器人臂R中的、位于最前端的连杆。
图3示出显示装置D的初始设定顺序的一例。首先，确定显示于显示器22的校准图案的种类(S31)。图4中示出校准图案的一例。图4的(a)是正方形的框线和在该框线中等间隔地排列的共计49个(7行7列)黑点构成的点花纹的图像图案。不过，为了确定正方形的方向，以角的一个成为三角形的方式进行涂布。也就是说，图4的(a)所示的校准图案为包含以规定间隔配置于框线内的黑点(点)和用于特定该图案的方向的多边形状的符号标记的图案。在同图(b)中，示出AR标记(左)、二维码(右)的图像图案。在该图(c)中示出棋盘(黑色的四边形和白色的四边形交错地排列的图像图案)，在该图(d)中示出三角形的图像图案。图像图案可以根据机器人R或图像传感器S的位置关系、校准的目的或必要的精度等使用各种图案。例如，可以任意地设定上述点花纹的黑点的个数、大小。在本实施方式中，选择点花纹的图像图案。显示控制部20，以向显示器22输出用于显示被选择的图像图案的图像数据的方式构成。
此外，图像图案所包含的校准图案，以显示器22所显示的颜色信息的最小单位即像素(像素)作为构成要素。并且，在至少一个像素的黑白反转的情况下，作为不同的图像图案对待。因此，相似形状但大小不同的两个图像图案为不同的图像图案。
接着，确定校准图案的大小(S32)。在本实施方式中，基于以下计算的显示器22和图像传感器S的相对距离确定图案的大小。
首先，图像传感器S被固定于设置有机器人R的工厂的天井等。因此，图像传感器S的位置坐标已知。同样地，以机器人R的基座为基准的原点坐标(根坐标)也已知。如上可知，上述坐标间的相对位置以及相对距离，通过设置设计附图或实测等的手段，预先以几厘米单位的误差求得。
接着，求得机器人臂R的前端坐标。具体而言，以机器人臂的原点坐标为基准，基于各可动轴的旋转角度以及各连杆的长度数据(形状数据)，通过运动学计算求得前端坐标。首先，机器人控制部12取得各可动轴的旋转角度信息，向参数算出部18输出。参数算出部18基于接收到的旋转角度信息和已知的各连杆的长度数据以及机器人R的原点坐标算出前端坐标。
接着，求得显示器22(校准目标)的坐标。具体而言，以机器人R的前端坐标为基准，基于已知的显示器22的形状数据(长度数据)，求得以机器人R的前端坐标为基准的显示器22的坐标。此外，在显示器22(校准目标)相对于机器人臂R的前端坐标系的位置以及姿势变动自如的情况下，除了显示器22的形状数据之外，基于变化的位置以及姿势求得显示器22的坐标。接着，基于显示器22相对于机器人R的前端坐标系的坐标，求得以机器人R的原点坐标为基准的显示器22的坐标。
并且，基于算出的显示器22的坐标和图像传感器S的位置坐标，算出显示器22和图像传感器S的相对距离。
此外，取代显示器22和图像传感器S的相对距离(第一相对距离)，可以使用机器人臂R的前端坐标和图像传感器S的相对距离(第二相对距离)变更后述的图像图案的大小。由于显示器22(校准目标)与机器人臂R相比更小、并且，显示器22的位置姿势伴随机器人臂R的前端坐标的动作而变化，因此，代替第一相对距离，使用第二相对距离也能够对应于显示器22和图像传感器S的距离的变动并且能够减少运算量。
显示控制部20基于通过参数算出部18算出的相对距离，生成调整了通过步骤S31选择的图像图案的大小的图像数据，向显示器22输出。显示器22基于接收到的图像数据显示规定的图像图案。
此外，算出显示器22和图像传感器S之间的相对距离的方法不限于上述的方法。例如，可以基于由图像传感器S拍摄的校准图案的图像所包含的花纹的大小的变动，算出相对距离。例如，预先求得预先设定的、包含于校准图案的第一花纹和第二花纹的间隔(第一间隔)，基于该第一间隔的信息、示出从拍摄图像抽出的第一花纹和第二花纹的间隔(第二间隔)的信息、图像传感器S的传感器参数，能够算出相对距离(第三相对距离)。据此，基于对应于显示器22和图像传感器S之间的距离而变化的拍摄图像中的校准图案的大小，算出图像传感器S和显示器22的相对距离，能够对应于该相对距离使所显示的图像图案的大小变动。
如上所述，使用第一相对距离、第二相对距离、第三相对距离的任一个，均能够对应于机器人臂的前端的坐标的变动，变更后述的图像图案的大小。
如上所述，在本实施方式中的校准方法中，以对应于显示器22和图像传感器S的相对距离确定显示于显示器22的图像图案的大小的方式构成。在本实施方式中，以所显示的图像图案的大小(由正方形的框线包围的区域的面积)大致占图像传感器S的拍摄区域的一半左右的大小的方式而预先设定。
在此，图像图案的大小是指被图像图案的轮廓包围的部分的面积，例如，能够通过显示器22的像素数表现。此外，图像图案的大小也可以指在图像图案的轮廓的内侧存在的花纹的大小(面积)。例如，在图4的(a)所示的校准图案中，图像图案的大小可以示出在校准图案的框线的内侧存在的黑点(点)的大小以及多边形状的符号标记的大小。并且，例如，在同图(b)～(d)所示的校准图案中，图像图案的大小可以示出在该校准图案的框线的内侧存在的花纹的大小。既可以根据在上述图像图案的轮廓的内侧存在的花纹的大小、图像图案的轮廓的大小的变更进行变更，此外，也可以与图像图案的轮廓的大小的变更无关地变更。
以下，使用附图，对校准的具体的方法进行说明。在本实施方式中，作为校准图案而显示于显示器22的图像图案根据机器人臂R所采取的各种姿势而变化。
图5为本实施方式涉及的校准方法的流程图。
首先，基于来自机器人控制部12的控制信号，机器人臂R采取对应于进行拍摄的测定点的规定的姿势(S41)。此时，以显示装置D的显示画面收容于能够通过图像传感器S拍摄的拍摄区域内的方式，预先确定机器人臂R的姿势。
接着，通过上述的方法，通过参数算出部18算出该姿势下的机器人臂R的前端坐标(显示器22的坐标)和图像传感器S的相对距离，算出的相对距离被向显示控制部20输出。接着，通过显示控制部20生成用于显示基于相对距离的大小的点花纹图案的图像数据，向显示器22输出。同时，传感器控制部14使图像传感器S拍摄显示于显示器22的图像图案，取得拍摄数据(S42)。
接着，通过参数算出部18判断拍摄次数是否达到了规定的次数(N次)(S43)。在未达到的情况下，重复S42～S43。具体而言，重复执行：通过使机器人臂R采取与前次不同的姿势而向与前次的测定点不同的测定点移动的处理、算出此时的前端坐标(显示器22的坐标)和图像传感器S的相对距离的处理、生成用于显示所对应的大小的点花纹图案的图像数据的处理、将显示于显示器22的图像图案拍摄于图像传感器S而取得拍摄图案的处理。
在此，算出的相对距离短的情况与相对距离长的情况相比，显示更小的图像图案；相对距离长的情况与相对距离短的情况相比，显示更大的图像图案。例如，在与前次的测定点相比较，相对距离大至1.2倍的情况下，以与前次相比，点花纹图案的正方形的外框的一边以及外框内的各点的直径分别大至1.2倍的方式生成图像图案，显示于显示器22。另一方面，在与前次的测定点相比较，相对距离为0.8倍的情况下，以与前次相比，外框的一边以及外框内的各点的直径分别小至0.8倍的方式生成图像图案，显示于显示器22。通过这样的结构，能够将图像图案相对于图像传感器S的拍摄区域的大小维持为规定值以上，并且，能够实现校准精度的提高。
此外，不仅大小不同的点花纹的图像图案，也可以使不同形状的图像图案显示并拍摄。例如，能够显示使黑白反转的图像图案，通过取得各自的拍摄数据而提高校准的精度。也就是说，关于显示的至少两个图像图案，在第一图像图案和第二图像图案中，可以使对应于显示装置D的至少一个像素的颜色信息不同。更具体而言，在第一图像图案和第二图像图案中，可以使对应于显示装置D的至少一个像素的黑白反转。从而，能够使能够取得的拍摄图像的信息量增大，能够提高校准的精度。
并且，可以在使机器人臂R动作的同时，使显示于显示器22的图像图案的大小连续地变化，以取得各图像图案的拍摄数据。例如，可以以显示器22通过一定的速度接近(或者，远离)图像传感器S的方式控制机器人臂R，同时，通过一定的大小减小(或者，增大)显示于显示器22的图像图案。
当拍摄次数达到规定的次数(N次)，拍摄到对于N个姿势显示的N个图像图案时，通过参数算出部18基于N个拍摄数据算出校准目标(显示有校准图案的显示器22)的位置姿势(S44)。
接着，通过参数算出部18基于算出的校准目标的位置姿势和工具的位置姿势，求得机器人和传感器的相对位置姿势(S45)。具体而言，基于下述的计算式取得机器人和传感器的相对的位置关系。
camHcal＝camHbase*baseHtool*toolHcal
在此，左边的camHcal为示出基于拍摄装置(照相机)的坐标系的校准目标的位置姿势的变换矩阵(包含旋转矩阵和同步矢量)，如上述步骤所示，基于拍摄数据算出。
并且，baseHtool为示出基于机器人臂R的原点坐标系的前端的位置姿势的变换矩阵，如上所述，基于构成取得该拍摄数据时的机器人臂R的姿势的各可动轴的旋转角度以及已知的各连杆的长度数据通过运动学计算算出。
并且，toolHcal为示出基于机器人臂R的前端坐标系的校准目标的位置姿势的变换矩阵，能够基于末端执行器E以及显示装置D的大小等预先取得。此外，在校准目标相对于机器人臂R的前端坐标系的位置及姿势至少在两次拍摄中不变化的情况下，可以省略以toolHcal表现的变换矩阵的运算。能够省略以toolHcal表现的变换矩阵的运算的情况，例如为在校准目标被固定于机器人臂R的前端的条件下，至少进行了两次拍摄的情况。从而，当使用对应于各次拍摄而取得的两组拍摄数据而进行用于校准的计算时，由于能够使用校准目标相对于机器人臂R的前端坐标系的位置姿势不变化这一条件，因此，能够省略以toolHcal表现的变换矩阵的运算。
因此，作为示出机器人R和图像传感器S的相对的位置关系的信息，能够取得从图像传感器S的坐标系观察的示出机器人R的原点坐标的位置姿势的变换矩阵camHbase或者其逆矩阵baseHcam。
通过以上的步骤，取得作为拍摄装置的图像传感器S和作为机器人的机器人臂R的相对的位置关系的校准完成。
[变形例]
以下，对于上述的第一实施方式的变形例进行说明。省略重复的记述，对于不同的点进行说明。
在第一实施方式中，固定机器人臂R和显示装置D，使用机器人臂R使显示装置D移动的同时取得校准所必要的拍摄数据。在本变形例中，对于固定机器人臂R和图像传感器S，使用机器人臂R使图像传感器S移动的同时取得校准所必要的拍摄数据的方法进行说明。
首先，将图像传感器S固定于机器人臂R。在流通的机器人臂R中，也有预先具备图像传感器S的。如果为这样的机器人臂R的话，能够使用所具备的图像传感器S执行校准。关于不是如上的机器人臂R，需要使用夹具等将图像传感器S固定于前端的连杆等。另一方面，显示器22被固定于规定的位置。
图6为示出使用固定有图像传感器S的机器人臂R拍摄显示于显示器22的图像图案的样态的示意图。
以下使用附图对于校准的具体的方法进行说明。在本变形例中，显示于显示器22的图像图案所包含的校准图案根据机器人臂R所采取的各种姿势而变化。并且，能够将图5用作本变形例涉及的校准方法的流程图，以显示器22的显示画面收容于能够通过图像传感器S拍摄的拍摄区域内的方式，机器人臂R采取规定的姿势(S41)。
接着，传感器控制部14使图像传感器S拍摄显示于显示器22的图像图案，取得拍摄数据(S42)。不过，图像图案的大小能够通过与第一实施方式不同的方法确定。例如，能够基于机器人臂R的前端坐标和被固定的显示器22的位置坐标的相对距离确定图像图案的大小。
接着，通过参数算出部18判断拍摄次数是否达到了规定的次数(N次)(S43)。在未达到的情况下，重复S42～S43。具体而言，在机器人臂R采取各种姿势的同时，图像传感器S拍摄显示于显示器22的各种图像图案而取得拍摄数据。
当拍摄次数达到规定的次数(N次)时，通过参数算出部18基于拍摄数据算出校准目标(显示有校准图案的显示器22)的位置姿势(S44)。
并且，通过参数算出部18基于算出的校准目标的位置姿势和工具的位置姿势，求得机器人和传感器的相对位置姿势(S45)。具体而言，基于下述的计算式取得机器人和传感器的相对的位置关系。
camHcal＝camHbase*baseHtool*toolHcal
在此，左边的camHcal为示出基于照相机的位置坐标系的校准目标的位置姿势的变换矩阵(包含旋转矩阵和同步矢量)，如上述步骤所示，基于拍摄数据算出。
并且，toolHbase为示出基于第一实施方式中的机器人臂R的原点坐标系的前端的位置姿势的变换矩阵的逆矩阵，基于构成取得该拍摄数据时的机器人臂R的姿势的各可动轴的旋转角度以及已知的各连杆的长度数据通过运动学计算算出。
并且，baseHcal为示出基于机器人臂R的原点坐标系的校准目标的位置姿势的变换矩阵，能够基于显示器22的位置坐标以及显示装置D的大小等预先取得。此外，在校准目标的位置以及姿势相对于机器人臂R的原点坐标系在至少两次拍摄中不变化的情况下，能够省略以baseHcal表现的变换矩阵的运算。能够省略以baseHcal表现的变换矩阵的运算的情况是指，例如使机器人臂R动作，在变更该姿势的前后，能够通过图像传感器S拍摄校准目标，即使不变更固定校准目标的部位也可以的情况。
因此，作为示出机器人R和图像传感器S的相对的位置关系的信息，能够取得从图像传感器S的坐标系观察的示出机器人R的前端坐标的位置姿势的变换矩阵camHtool或者其逆矩阵toolHcam。
通过以上的步骤，取得作为拍摄装置的图像传感器S和机器人臂R的前端坐标的相对的位置关系的校准完成。
如上所述，根据基于本实施方式及其变形例的校准方法，无须准备印刷有多个图案的校准目标而能够取得拍摄装置即图像传感器S和机器人臂R的相对的位置关系。
此外，能够任意地设定点花纹的图像图案的正方形框的大小、点的个数、点的间隔。并且，可以对应于校准的目的等，与各种图像图案组合而用于校准。
并且，校准系统10可以具备用于输出机器人R和图像传感器S间的相对的位置关系的输出部。
并且，也可以以如下方式构成：不基于显示器22和机器人臂R的前端坐标的相对距离，而基于这以外的指标确定图像图案的大小。例如，规定点可以对应于机器人R的前端坐标的距离确定图像图案的大小。
并且，所谓前端的坐标是指，构成机器人臂R的连杆中的、除了最前端的连杆的前端的坐标之外，工具(末端执行器)的前端或者中间的坐标等的、不仅包括机器人臂的最前端的连杆，也包括其前端(尖端)的坐标。
[第二实施方式]
在第二实施方式中，省略关于与第一实施方式共通的事项的记述，对于不同点进行说明。
第一实施方式中，图像图案的大小基于图像传感器S和机器人臂R的前端的相对距离而变化。本实施方式中，校准图案(图像图案)的大小基于由图像传感器S拍摄的校准图案的模糊量而变更。
首先，对于基于模糊量的距离的推定方法进行说明。在将图像传感器S的拍摄面透镜的焦点距离设为f、将图像传感器S与光源A的距离设为u的情况下，对焦的距离v满足f-1＝u-1+v-1的关系。因此，如果从拍摄面透镜至拍摄面的距离r为r＝v的话，那么能够取得对焦的图像。另一方面，在r≠v的情况下，将图像传感器S(照相机)的光圈设为p时，光源A作为具有q＝p*|v-r|/v的直径的圆而被投影至拍摄面，发生模糊量q的模糊。
因此，作为图像图案，准备包括点的图像数据，通过该点以具有怎样程度的直径的圆被拍摄或图像识别拍摄数据，能够得到模糊量q。并且，基于已知的p、r及r以及上式，能够推定图像传感器S和校准目标的距离u。
并且，通过基于距离u变更图像图案的大小，即使图像传感器S和显示器22分离，也能够增大所显示的校准图案的大小。并且，即使图像传感器S和显示器22接近，也能够通过缩小所显示的校准图案的大小，使得校准图案收容于图像传感器S的拍摄区域内。
进一步，由于能够省略用于计算机器人R的前端坐标等的运算处理，能够减轻向处理器的负载。
此外，代替基于模糊量的距离推定，作为显示于图像传感器的图像图案，可以构成为使标记显示，通过图像识别算出标记的多个特征点间的距离，以基于该距离(或者，对应于姿势的变化的特征点间的距离的变化量)变更图像图案的大小的方式构成。
[第三实施方式](光晕)
在第三实施方式中，省略关于与上述各实施方式共通的事项的记述，对于不同点进行说明。
本实施方式涉及的校准系统具备照度传感器。并且，可以对应于通过照度传感器的周边照度的大小，使显示于显示器22的图像图案的亮度不同。此外，优选的是，照度传感器与显示器22一体地设置。具体而言，在照度大的情况下(例如，由于显示器22的显示面与天井的照明对向，由显示面反射的光被图像传感器S接受的情况)，与照度小的情况相比，基于图像图案被相对地较暗地显示的图像数据而使图像图案显示于显示器22；在照度小的情况下(例如，由于显示器22的显示面朝向地板侧而天井的照明几乎不被图像传感器S接受的情况下)，通过与照度大的情况相比较，基于图像图案被相对地较亮地显示的图像数据而使图像图案显示于显示器22，能够减轻由于设置于天井的照明等而产生的光晕(由于光线过强，被拍摄体的周边较白地模糊而变得不鲜明的现象)的影响，实现校准。
例如，通过以不变更图像传感器S和显示器22的相对距离而变更显示器22相对于图像传感器S的相对角度的方式控制机器人臂R，根据照度计的输出变更所显示的图像的亮度，能够抑制伴随光晕的校准精度的劣化。
此外，在照明的位置已知等的情况下，可以构成为：基于机器人臂R的位置姿势或被推定的显示器22的显示面相对于地面的角度等，调整示出亮度的图像数据。
并且，照度传感器，作为显示装置D，在使用平板型的便携信息处理终端或智能手机的情况下，可以使用上述终端预先具备的照度传感器。
此外，在本实施方式中，作为图像数据，不仅包括使所显示的图像的形状也包括使亮度不同的情况，不仅包括示出对于各像素所指定的亮度的数据，也包括规定显示器22的背光的输出的控制数据或示出亮度的程度的数据。
[第四实施方式](显示装置的功能的使用、输入部或传感器等)
在第四实施方式中，省略关于与上述实施方式共通的事项的记述，对于不同点进行说明。
上述实施方式中，使用处理器算出图像传感器S和机器人臂R的前端的相对距离等。但是，通过使显示装置D具备多种功能，能够使其代替地用于使用处理器等的复杂的运算处理。
例如图7所示，其构成为：将输入I/F(输入单元)设置于显示装置D，接收机器人R和图像传感器S的相对位置姿势的概算值、图像传感器S的计测范围以及视野范围的输入(或者，规定上述的图像传感器S的型号等的输入)，能够形成对应于所输入的值而自动地使适当的大小、形状及亮度的图像图案显示的结构。并且，也可以构成为使多个校准目标的形状在显示器22滚动并显示的同时能够选择。此外，输入I/F不特别地限于图7所示的方式。例如，可以经由显示装置D所具有的、与外部设备通过有线或者无线进行电气通信的通信I/F，输入确定图像图案的内容的信息。
并且，可以构成为：将加速度传感器、速度传感器或者斜度(陀螺仪)传感器设置于显示装置D或者机器人臂R，基于表示机器人臂R的移动量或斜度的这些传感器的计测数据，自动地显示适当的大小、形状及亮度的图像图案。
通过上述的结构，能够客观地选择适当的形状、大小等的图像图案。并且，不再需要用于接收为了算出距离机器人臂R的相对距离等的数据的发送/接收的物理性结构等，能够仅通过显示装置D确定用于显示图像图案的图像数据。进一步，作为显示装置D，在使用便携终端(平板或智能手机)的情况下，能够使用原本具备的输入单元或各种传感器。
此外，在全部的实施方式中，可以在同一测定点基于不同的图像图案显示图像，基于关于同一测定点取得的多个拍摄图像进行校准的运算。在此，所谓不同的图像图案，优选的是，对应于显示装置D的至少一个像素的颜色信息不同的图像图案；特别优选的是，显示装置的至少一个像素的黑白反转的图像图案。从而，在各测定点，能够使能够取得的拍摄图像的信息量增大，能够提高校准的精度。也就是说，在同一测定点，显示不同方式的多种图像图案，能够使作为校准运算的根据的数值信息增大。从而，据此，由于能够使用在同一测定点取得的多种图像图案进行校准的运算处理，因此，能够使校准的精度提高。
以上说明的实施方式是为了使得本发明的理解容易，并非限定性地解释本发明。实施方式所具备的各要素及其配置、材料、条件、形状及尺寸等并不限于例示，能够适当变更。并且，能够部分地置换或者组合以不同的实施方式示出的结构的彼此。
此外，在本说明书中，“部”或“单元”、“顺序”并非单纯地表示物理性结构，有时也包括通过软件实现该“部”等所进行的处理的情况。并且，既可以通过两个以上的物理性结构或装置执行一个“部”等、装置所进行的处理，也可以通过一个物理性结构或装置执行两个以上的“部”等、装置所进行的处理。
上述实施方式的一部分或者全部能够如以下付记所记载，但不限于以下。
(付记1)
一种校准方法，其是在具备显示装置、拍摄装置和固定有所述显示装置和所述拍摄装置中的任一方并具有驱动轴的机器人臂的机器人系统中校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法，包括如下步骤：基于第一图像数据使第一图像显示于所述显示装置的步骤；使用所述拍摄装置，拍摄显示于所述显示装置的所述第一图像，取得第一拍摄数据的步骤；基于与所述第一图像数据不同的第二图像数据，使第二图像显示于所述显示装置的步骤；使用所述拍摄装置，拍摄显示于所述显示装置的所述第二图像，取得第二拍摄数据的步骤；以及使用所述第一拍摄数据以及所述第二拍摄数据，校准所述拍摄装置的坐标系和所述机器人臂的坐标系的步骤。
(付记2)
一种校准方法，其是在具备显示装置、拍摄装置和固定有所述显示装置和所述拍摄装置中的任一方并具有驱动轴的机器人臂的机器人系统中校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法，包括如下步骤：基于第一图像数据使第一图像显示于所述显示装置的步骤；使用所述拍摄装置，拍摄显示于所述显示装置的所述第一图像而取得第一拍摄数据的步骤；以及使用所述第一拍摄数据，校准所述拍摄装置的坐标系和所述机器人臂的坐标系的步骤。
(付记3)
一种程序，其是在具备显示装置、拍摄装置和固定有所述显示装置和所述拍摄装置中的任一方并具有驱动轴的机器人臂的机器人系统中，用于执行校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法的程序，使计算机执行如下步骤：基于第一图像数据使第一图像显示于所述显示装置的步骤；使所述拍摄装置拍摄显示于所述显示装置的所述第一图像而取得第一拍摄数据的步骤；基于与所述第一图像数据不同的第二图像数据，使第二图像显示于所述显示装置的步骤；使所述拍摄装置拍摄显示于所述显示装置的所述第二图像，取得第二拍摄数据的步骤；以及使用所述第一拍摄数据以及所述第二拍摄数据，校准所述拍摄装置的坐标系和所述机器人臂的坐标系的步骤。
(付记4)
一种校准系统，具备：显示装置，用于基于第一图像数据显示第一图像，并且，基于与所述第一图像数据不同的第二图像数据显示第二图像；拍摄装置，用于分别拍摄所述第一图像以及所述第二图像，分别取得第一拍摄数据以及第二拍摄数据；机器人臂，固定有所述显示装置和所述拍摄装置中的任一方，用于变更所述显示装置和所述拍摄装置的相对位置；以及运算部，使用所述第一拍摄数据以及所述第二拍摄数据，进行用于校准所述拍摄装置的坐标系和所述机器人臂的坐标系的运算。
符号说明
10…校准系统、12…机器人控制部、14…传感器控制部、16…图像处理部、18…参数算出部、20…显示控制部、22…显示器、D…显示装置、R…机器人、S…图像传感器。

Claims (19)

1.一种校准方法，其是在具备显示装置、拍摄装置和固定所述显示装置和所述拍摄装置中的任一个并具有驱动轴的机器人臂的机器人系统中校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法，其特征在于，包括：
基于第一图像数据，使第一图像显示于所述显示装置的步骤；
使用所述拍摄装置，拍摄所显示的所述第一图像的图像，取得第一拍摄数据的步骤；
基于与所述第一图像数据不同的第二图像数据，使第二图像显示于所述显示装置的步骤；
使用所述拍摄装置，拍摄所显示的所述第二图像的图像，取得第二拍摄数据的步骤；以及
使用所述第一拍摄数据以及所述第二拍摄数据，校准所述拍摄装置的坐标系和所述机器人臂的坐标系的步骤，
在显示所述第一图像的步骤和显示所述第二图像的步骤中，
所述第一图像数据或者所述第二图像数据构成为：根据所述拍摄装置和所述显示装置的距离而变更所显示的所述第一图像或者所述第二图像的图案的大小。
2.根据权利要求1所述的校准方法，其特征在于，
就所述第一图像数据和所述第二图像数据而言，表示所显示的图像的图案的数据或者表示所显示的图像的亮度的数据不同。
3.根据权利要求1或2所述的校准方法，其特征在于，
就所述第一图像数据和所述第二图像数据而言，表示所显示的图像的图案的数据中，显示于所述显示装置的图像的至少一个像素的颜色有关的数据不同。
4.根据权利要求1或2所述的校准方法，其特征在于，
所述校准方法还包括：在取得了所述第一拍摄数据之后，使用所述机器人臂，变更所述显示装置和所述拍摄装置的相对位置的步骤，
在变更所述相对位置的步骤之后，执行取得所述第二拍摄数据的步骤。
5.根据权利要求1或2所述的校准方法，其特征在于，
在显示所述第一图像的步骤和显示所述第二图像的步骤中，
所述第一图像数据或者所述第二图像数据构成为：根据所述机器人臂的前端的坐标而变更所显示的所述第一图像或者所述第二图像的图案的大小。
6.根据权利要求1或2所述的校准方法，其特征在于，
所述校准方法还包括：在取得了所述第一拍摄数据之后，使用所述机器人臂，变更所述显示装置和所述拍摄装置的相对角度的步骤，
就所述第一图像数据和所述第二图像数据而言，至少表示所显示的图像的亮度的数据不同。
7.根据权利要求1或2所述的校准方法，其特征在于，
取得所述第一拍摄数据的步骤中的、所述拍摄装置相对于所述显示装置的相对的位置姿势、和取得所述第二拍摄数据的步骤中的、所述拍摄装置相对于所述显示装置的相对的位置姿势相同。
8.根据权利要求1或2所述的校准方法，其特征在于，
所述显示装置具备：传感器；用于计测亮度；以及运算部，基于所述传感器的检测值，变更所述第一图像数据或者所述第二图像数据，
在显示所述第一图像的步骤和显示所述第二图像的步骤中，
所述第一图像数据或者所述第二图像数据构成为：根据用于计测所述亮度的传感器的检测值而变更所显示的所述第一图像或者所述第二图像的亮度。
9.根据权利要求1或2所述的校准方法，其特征在于，
所述显示装置具备：输入部，用于输入信息；以及运算部，基于输入的所述信息变更所述第一图像数据或者所述第二图像数据，
在显示所述第一图像的步骤和显示所述第二图像的步骤中，
所述第一图像数据或者所述第二图像数据构成为：根据输入的所述信息而变更所显示的所述第一图像或者所述第二图像的图案的大小及亮度。
10.根据权利要求1或2所述的校准方法，其特征在于，
所述显示装置和所述机器人臂被固定，
所述显示装置具备用于计测移动量的传感器，
就所述第一图像数据或者所述第二图像数据而言，基于由所述传感器计测的所述移动量而决定所显示的所述第一图像或者所述第二图像的图案的大小。
11.根据权利要求1或2所述的校准方法，其特征在于，
所述显示装置和所述机器人臂被固定，
所述显示装置具备用于计测斜度的传感器，
基于由所述传感器计测的所述斜度的大小，决定表示基于所述第一图像数据以及所述第二图像数据中的至少一个而显示的图像的亮度的数据。
12.一种校准方法，其是在具备显示装置、拍摄装置和固定所述显示装置和所述拍摄装置中的任一个并具有驱动轴的机器人臂的机器人系统中校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法，其特征在于，包括：
基于第一图像数据，使第一图像显示于所述显示装置的步骤；
使用所述拍摄装置，拍摄所显示的所述第一图像的图像，取得第一拍摄数据的步骤；以及
使用第一拍摄数据，校准所述拍摄装置和所述机器人臂的相对的位置关系的步骤，
在显示所述第一图像的步骤中，
所述第一图像数据构成为：根据所述拍摄装置和所述显示装置的距离而变更所显示的所述第一图像的图案的大小。
13.根据权利要求12所述的校准方法，其特征在于，
就所述第一图像数据而言，根据拍摄环境而决定表示所显示的图像的图案的数据或者表示所显示的图像的亮度的数据。
14.一种存储介质，存储有程序，所述程序是在具备显示装置、拍摄装置和固定所述显示装置和所述拍摄装置中的任一个并具有驱动轴的机器人臂的机器人系统中用于执行校准所述拍摄装置的坐标系和所述机器人臂的坐标系的方法的程序，其特征在于，所述程序使计算机执行：
基于第一图像数据，使第一图像显示于所述显示装置的步骤；
使所述拍摄装置拍摄所显示的所述第一图像的图像，取得第一拍摄数据的步骤；
基于与所述第一图像数据不同的第二图像数据，使第二图像显示于所述显示装置的步骤；
使所述拍摄装置拍摄所显示的所述第二图像的图像，取得第二拍摄数据的步骤；
使用所述第一拍摄数据以及所述第二拍摄数据，校准所述拍摄装置的坐标系和所述机器人臂的坐标系的步骤，
在显示所述第一图像的步骤和显示所述第二图像的步骤中，
所述第一图像数据或者所述第二图像数据构成为：根据所述拍摄装置和所述显示装置的距离而变更所显示的所述第一图像或者所述第二图像的图案的大小。
15.根据权利要求14所述的存储介质，其特征在于，
就所述第一图像数据和所述第二图像数据而言，表示所显示的图像的图案的数据或者表示所显示的图像的亮度的数据不同。
16.根据权利要求14或15所述的存储介质，其特征在于，
就所述第一图像数据和所述第二图像数据而言，在表示所显示的图像的图案的数据中，关于显示于所述显示装置的图像的至少一个像素的颜色的数据不同。
17.一种校准系统，其特征在于，具备：
显示装置，用于基于第一图像数据显示第一图像，并且，基于与所述第一图像数据不同的第二图像数据显示第二图像；
拍摄装置，用于分别拍摄所述第一图像以及所述第二图像，分别取得第一拍摄数据以及第二拍摄数据；
机器人臂，固定所述显示装置和所述拍摄装置中的任一个并具有驱动轴；
运算部，使用所述第一拍摄数据以及所述第二拍摄数据，进行用于校准所述拍摄装置的坐标系和所述机器人臂的坐标系的运算，
所述第一图像数据或者所述第二图像数据构成为：根据所述拍摄装置和所述显示装置的距离而变更所显示的所述第一图像或者所述第二图像的图案的大小。
18.根据权利要求17所述的校准系统，其特征在于，
就所述第一图像数据和所述第二图像数据而言，表示所显示的图像的图案的数据或者表示所显示的图像的亮度的数据不同。
19.根据权利要求17或18所述的校准系统，其特征在于，
就所述第一图像数据和所述第二图像数据而言，在表示所显示的图像的图案的数据中，显示于所述显示装置的图像的至少一个像素的颜色有关的数据不同。
CN201810768081.8A 2017-08-09 2018-07-12 校准方法、校准系统及程序 Active CN109382821B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017154016A JP6886620B2 (ja) 2017-08-09 2017-08-09 キャリブレーション方法、キャリブレーションシステム及びプログラム
JP2017-154016 2017-08-09

Publications (2)

Publication Number Publication Date
CN109382821A CN109382821A (zh) 2019-02-26
CN109382821B true CN109382821B (zh) 2022-02-11

Family

ID=63103746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810768081.8A Active CN109382821B (zh) 2017-08-09 2018-07-12 校准方法、校准系统及程序

Country Status (4)

Country Link
US (1) US10940591B2 (zh)
EP (1) EP3446838A1 (zh)
JP (1) JP6886620B2 (zh)
CN (1) CN109382821B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423943A (zh) * 2018-07-13 2021-02-26 Abb瑞士股份有限公司 诊断方法和设备
GB2582139B (en) * 2019-03-11 2021-07-21 Arrival Ltd A method for determining positional error within a robotic cell environment
US10906184B2 (en) * 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP7443014B2 (ja) 2019-10-08 2024-03-05 大豊精機株式会社 ロボットアーム試験装置
US20230032421A1 (en) * 2020-01-14 2023-02-02 Fanuc Corporation Robot system
CA3170703A1 (en) * 2020-02-06 2021-08-12 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US20230140518A1 (en) * 2020-03-03 2023-05-04 Sony Group Corporation Information processing device, information processing method, and information processing system
JP2022098658A (ja) * 2020-12-22 2022-07-04 トヨタ自動車株式会社 撮影システム、その撮影方法及びプログラム
WO2022259051A1 (en) * 2021-06-07 2022-12-15 Alcon Inc. Optical axis calibration of robotic camera system
JP2023175167A (ja) * 2022-05-30 2023-12-12 セイコーエプソン株式会社 キャリブレーション方法およびロボットシステム
WO2024068477A1 (en) * 2022-09-30 2024-04-04 Admv Sas A modular system of configurable devices for adjustable robotic production lines

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN106514651A (zh) * 2015-09-14 2017-03-22 发那科株式会社 测量装置以及校准方法
CN106887023A (zh) * 2017-02-21 2017-06-23 成都通甲优博科技有限责任公司 用于双目摄像机标定的标定板及其标定方法和标定系统
CN106920261A (zh) * 2017-03-02 2017-07-04 江南大学 一种机器人手眼静态标定方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3512092B2 (ja) * 1994-07-29 2004-03-29 マツダ株式会社 キャリブレーション装置
JP2008014940A (ja) * 2006-06-08 2008-01-24 Fast:Kk 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
JP5928114B2 (ja) * 2012-04-12 2016-06-01 セイコーエプソン株式会社 ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
US9330606B2 (en) * 2012-06-08 2016-05-03 Apple Inc. Electronic device with display brightness control
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
JP6429473B2 (ja) 2014-03-20 2018-11-28 キヤノン株式会社 ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US20150268748A1 (en) * 2014-03-20 2015-09-24 Shenzhen Lexyz Technology Co., Ltd. Interactive control and display method and system
US9193073B1 (en) * 2014-10-15 2015-11-24 Quanta Storage Inc. Robot calibration apparatus for calibrating a robot arm
JP6121063B1 (ja) * 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
JP2018012184A (ja) * 2016-07-22 2018-01-25 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP6396516B2 (ja) * 2017-01-12 2018-09-26 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
JP6897396B2 (ja) * 2017-07-28 2021-06-30 セイコーエプソン株式会社 制御装置、ロボットシステムおよび制御方法
TWI668541B (zh) * 2017-09-29 2019-08-11 財團法人工業技術研究院 機器人工具中心點校正系統及其方法
KR20200064095A (ko) * 2017-10-06 2020-06-05 어드밴스드 솔루션즈 라이프 사이언스, 엘엘씨 엔드 이펙터 보정 조립체들, 시스템들, 및 방법들
JP7062911B2 (ja) * 2017-10-11 2022-05-09 セイコーエプソン株式会社 ロボットシステム
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN102294695A (zh) * 2010-06-25 2011-12-28 鸿富锦精密工业（深圳）有限公司 机器人标定方法及标定系统
CN106514651A (zh) * 2015-09-14 2017-03-22 发那科株式会社 测量装置以及校准方法
CN106887023A (zh) * 2017-02-21 2017-06-23 成都通甲优博科技有限责任公司 用于双目摄像机标定的标定板及其标定方法和标定系统
CN106920261A (zh) * 2017-03-02 2017-07-04 江南大学 一种机器人手眼静态标定方法

Also Published As

Publication number Publication date
US10940591B2 (en) 2021-03-09
JP2019030943A (ja) 2019-02-28
US20190047152A1 (en) 2019-02-14
EP3446838A1 (en) 2019-02-27
CN109382821A (zh) 2019-02-26
JP6886620B2 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
CN109382821B (zh) 校准方法、校准系统及程序
CN108297096B (zh) 校准装置、校准方法以及计算机能够读取的介质
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
US10201900B2 (en) Control device, robot, and robot system
JP6426725B2 (ja) 移動可能な対象物体の場所を追跡するためのシステム及び方法
JP6504274B2 (ja) 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体
JP6734253B2 (ja) ワークを撮像する視覚センサを備える撮像装置
US8306660B2 (en) Device and a method for restoring positional information of robot
US9292925B2 (en) Imaging system and control method thereof
JP2010112859A (ja) ロボットシステム、ロボット制御装置およびロボット制御方法
CN110712194B (zh) 物体检查装置、物体检查系统以及调整检查位置的方法
JP2007147422A (ja) 計測システム、画像処理装置及び方法
JP4445327B2 (ja) ディスプレイの評価方法及び装置
US11388375B2 (en) Method for calibrating image capturing sensor consisting of at least one sensor camera, using time coded patterned target
CN109459984B (zh) 一种基于三维点云的定位抓取系统及其使用方法
US10724963B2 (en) Device and method for calculating area to be out of inspection target of inspection system
US11956537B2 (en) Location positioning device for moving body and location positioning method for moving body
US20190091866A1 (en) Robot controller for executing calibration, measurement system and calibration method
JP2009175012A (ja) 計測装置および計測方法
JP5573537B2 (ja) ロボットのティーチングシステム
CN113330487A (zh) 参数标定方法及装置
EP3537103A1 (en) Calibration reference point acquisition system and calibration reference point acquisition method
JP6966229B2 (ja) 振れ補正機能付き光学機器の振れ補正特性評価装置
US20180040266A1 (en) Calibrated computer display system with indicator
JP2020193945A (ja) 計測装置、把持システム、計測装置の制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant