CN110114191B - 机器人控制装置以及校准方法 - Google Patents

机器人控制装置以及校准方法 Download PDF

Info

Publication number
CN110114191B
CN110114191B CN201780079210.6A CN201780079210A CN110114191B CN 110114191 B CN110114191 B CN 110114191B CN 201780079210 A CN201780079210 A CN 201780079210A CN 110114191 B CN110114191 B CN 110114191B
Authority
CN
China
Prior art keywords
calibration data
robot
error
reference mark
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079210.6A
Other languages
English (en)
Other versions
CN110114191A (zh
Inventor
樱本泰宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110114191A publication Critical patent/CN110114191A/zh
Application granted granted Critical
Publication of CN110114191B publication Critical patent/CN110114191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera

Abstract

机器人控制装置具有：机器人控制部，其使用校准数据而对机器人的动作进行控制；图像处理部，其根据视觉传感器取得的图像数据而取得基准标记的照相机坐标；误差计算部，其基于与校准数据对应的基准标记的照相机坐标和基准标记的当前的照相机坐标之差而求出误差；校准数据计算部，其在误差的绝对值大于阈值的情况对新的校准数据进行计算；以及校准数据存储部，其对新的校准数据进行登记，以使机器人的动作位于其之间的方式使校准数据计算部多次计算新的校准数据，将多个校准数据登记于校准数据存储部。

Description

机器人控制装置以及校准方法
技术领域
本发明涉及对机器人进行控制的机器人控制装置以及机器人控制装置的校准方法。
背景技术
作为以机器人的绝对位置的精度提高为目的机构误差的校正方法，提出有以下的专利文献1这样的方法。在专利文献1中，对机器人的作业区域进行划分，针对其每个小区域而计算机器人的机构误差，决定使其误差变小的误差解析式，使用该解析式对机构误差进行校正。
专利文献1：日本特开平07-200017号公报
发明内容
在专利文献1的现有技术中，由于针对将区域进行分割得到的每个小区域而决定减小误差的误差解析式，因此保障了作业空间的机构误差的降低。但是，由于无法保障使机器人长期运转时的热漂移之类的历时性的变化中的机构误差的降低，因此在使机器人进行长期运转的情况下，存在机器人的绝对位置的精度降低的问题。
本发明就是鉴于上述而提出的，其目的在于得到一种机器人控制装置，该机器人控制装置在针对机器人而产生历时性的机构误差的环境下，能够实现机器人的动作的位置精度的提高。
为了解决上述课题，实现目的，本发明具有：机器人控制部，其使用校准数据而对机器人的动作进行控制；图像处理部，其根据视觉传感器取得的图像数据而取得基准标记的照相机坐标；误差计算部，其基于与校准数据对应的基准标记的照相机坐标和基准标记的当前的照相机坐标之差而求出误差；校准数据计算部，其在误差的绝对值大于阈值的情况对新的校准数据进行计算；以及校准数据存储部，其对新的校准数据进行登记。本发明的特征在于，以使机器人的动作位于其之间的方式使校准数据计算部多次计算新的校准数据，将多个校准数据登记于校准数据存储部。
发明的效果
根据本发明，能够实现如下效果，即，能够得到一种机器人控制装置，该机器人控制装置在机器人产生历时性的机构误差的环境下，能够实现机器人的动作的位置精度的提高。
附图说明
图1是表示本发明的实施方式1涉及的机器人控制系统的结构例的图。
图2是表示实施方式1涉及的机器人、视觉传感器以及基准标记的情形的斜视图。
图3是表示使实施方式1涉及的机器人控制装置的功能由计算机实现的情况下的硬件结构的图。
图4是对实施方式1涉及的校准数据的事先登记进行说明的流程图。
图5是对实施方式1中的照相机坐标的误差和机器人坐标的误差之间的关系进行说明的图。
图6是表示实施方式1涉及的机器人、视觉传感器以及基准标记的其他结构的情形的斜视图。
图7是表示实施方式1涉及的固定方式下的基准标记的拍摄画面的图。
图8是表示实施方式1涉及的固定方式下的基准标记的拍摄画面的其他图
图9是表示本发明的实施方式2涉及的机器人控制装置的结构的图。
图10是使用实施方式2涉及的校准数据的机器人控制系统的实际运用时的流程图。
图11是对实施方式2中的误差的时间变化进行说明的图。
具体实施方式
下面，基于附图对本发明的实施方式涉及的机器人控制装置以及校准方法进行详细说明。此外，本发明并不限定于本实施方式。
实施方式1.
图1是表示本发明的实施方式1涉及的机器人控制系统100的结构例的图。图2是表示实施方式1涉及的机器人1、视觉传感器3以及基准标记5的情形的斜视图。图1以及图2示出视觉传感器3安装于机器人1的手指尖的手眼方式的例子。
如图1所示，机器人控制系统100具有：机器人1；机器人控制装置2，其对机器人1进行控制；视觉传感器3，其安装于机器人1的手指尖；作业台4；以及基准标记5，其设置于作业台4的上的机器人1的动作范围内。视觉传感器3的具体例是照相机。
机器人控制装置2具有：机器人控制部20，其使用校准数据向机器人1发出指令而对机器人1的动作进行控制；图像处理部21，其对视觉传感器3所取得的图像数据进行处理；误差计算部22，其对机器人1的控制位置误差进行计算；以及误差判定部23，其对计算出的误差进行判定。校准数据是用于进行机器人1的坐标系即机器人坐标系和视觉传感器3的坐标系即照相机坐标系之间的转换、换言之校正的参数。
机器人控制装置2还具有：校准数据计算部24，其对校准数据进行计算；校准数据相似判定部25，其对计算出的校准数据和所登记的校准数据之间的相似度进行判定；校准数据存储部26，其对校准数据进行登记；校准数据更新部27，其对机器人控制部20所使用的校准数据进行更新；以及结束条件判定部28，其对是否重复进行校准数据的计算进行判定。
机器人控制装置2具有自动地求出校准数据的自动校准功能。自动校准是指使安装有视觉传感器3的机器人1的手指尖沿诸如前后左右之类的方向移动，从多个视点对基准标记5进行拍摄而进行识别，取得基准标记5的照相机坐标和机器人1的机器人坐标之间的对应关系，由此计算出校准数据。这里，基准标记5的照相机坐标是视觉传感器3的拍摄画面内的照相机坐标系中的基准标记5的坐标。对于照相机坐标系，在这里是以2维的例子进行说明，但并不限定于2维，也可以是3维。机器人1的机器人坐标是指机器人1接地的空间中的安装有视觉传感器3的机器人1的手指尖的3维坐标。
在机器人控制装置2的自动校准中，首先，基于机器人控制部20的指令使安装有视觉传感器3的机器人1的手指尖向诸如前后左右之类的方向移动，视觉传感器3从多个视点拍摄基准标记5而取得图像数据。图像处理部21根据所取得的多个视点下的图像数据而对基准标记5进行识别，得到基准标记5各自的照相机坐标。由于机器人控制部20掌握由视觉传感器3从多个视点对基准标记5进行拍摄时的机器人1的机器人坐标系中的各个机器人坐标，因此能够取得与视点的数量相应的照相机坐标和机器人坐标的组合。根据1个视点处的照相机坐标和机器人坐标之间的对应关系，能得到1个以校准数据的各参数作为未知数的方程式。因此，通过取得大于或等于3个视点处的照相机坐标和机器人坐标之间的组合，从而得到大于或等于3个方程式。而且，校准数据计算部24通过将所得到的大于或等于3个方程式联立并进行求解，从而能够计算出校准数据。以该方式对校准数据进行计算是自动校准。
图3是表示使实施方式1涉及的机器人控制装置2的功能由计算机实现的情况下的硬件结构的图。在使机器人控制装置2的功能由计算机实现的情况下，机器人控制装置2的功能如图3所示，通过CPU(Central Processing Unit)201、存储器202、存储装置203、显示装置204以及输入装置205而实现。机器人控制装置2的校准数据存储部26的功能通过存储装置203而实现，但机器人控制装置2的除此之外的功能通过机器人1的动作程序之类的软件而实现。软件作为程序而记述并储存于存储装置203。CPU 201将存储于存储装置203的动作程序读取至存储器202而对机器人1的动作进行控制。另外，以该方式，CPU 201实现实施方式1涉及的机器人控制装置2的下面要说明的校准方法。即，动作程序使计算机执行实施方式1涉及的校准方法。因此，机器人控制装置2具有存储装置203，该存储装置203用于储存动作程序，该动作程序从结果上来讲是对实施方式1涉及的校准方法进行实施的步骤。存储器202属于RAM(Random Access Memory)之类的易失性的存储区域。存储装置203相当于ROM(Read Only Memory)、闪存、EPROM(Erasable Programmable Read Only Memory)、EEPROM(注册商标)(Electrically Erasable Programmable Read Only Memory)之类的非易失性或易失性的半导体存储器、磁盘、闪盘、光盘、压缩盘、迷你盘、DVD(Digital VersatileDisk)。显示装置204的具体例是监视器、显示器。输入装置205的具体例是键盘、鼠标、触摸面板。
图4是对实施方式1涉及的校准数据的事先登记进行说明的流程图。校准数据的事先登记是指在机器人1的实际运用之前生成校准数据而登记于校准数据存储部26。下面，对从不存在要登记的校准数据的初始状态开始对多个校准数据进行登记的步骤进行说明。
首先，机器人控制部20使机器人1的手指尖向对基准标记5进行拍摄的位置移动(步骤S001)。该移动只要使机器人1移动至视觉传感器3能够对基准标记5进行拍摄的位置为止即可。由机器人控制装置2对通过该移动而得到的移动后的机器人1的机器人坐标进行存储而作为基准机器人坐标，在以后的基准标记5的拍摄时，机器人控制部20以使得机器人1的机器人坐标成为基准机器人坐标的方式进行控制。
接着，视觉传感器3对基准标记5进行拍摄而创建图像数据，图像处理部21对图像数据进行处理而取得基准标记5的照相机坐标vx(步骤S002)。
在步骤S002之后，进入步骤S016，执行自动校准。如前面说明的那样，执行自动校准，由校准数据计算部24计算出校准数据。将该校准数据设为初始的预备校准数据G1。这里，如后面所说明的那样，将校准数据计算部24计算出的校准数据称作预备校准数据的原因在于，计算出的校准数据有时未被登记于校准数据存储部26。
接着，校准数据相似判定部25判定在步骤S016中计算出的预备校准数据是否与已登记于校准数据存储部26的校准数据相似(步骤S017)。在校准数据相似判定部25判定为计算出的预备校准数据与已登记于校准数据存储部26的校准数据相似的情况下(步骤S017:Yes)，将计算出的预备校准数据废弃，进入步骤S020。在校准数据相似判定部25判定为计算出的预备校准数据与已登记于校准数据存储部26的校准数据不相似的情况下(步骤S017:No)，进入步骤S018。
当在步骤S016中计算出的预备校准数据是初始的预备校准数据G1的情况下，不存在已登记于校准数据存储部26的校准数据。在该情况下，也在步骤S017中，由校准数据相似判定部25判定为预备校准数据G1与已登记于校准数据存储部26的校准数据不相似(步骤S017:No)，进入步骤S018。此外，后面对基于校准数据相似判定部25进行的相似的判定方法进行详述。
机器人控制装置2将由校准数据相似判定部25判定为与已登记的校准数据不相似的预备校准数据登记于校准数据存储部26(步骤S018)。因此，在步骤S016中求出的预备校准数据G1被作为校准数据H1而登记于校准数据存储部26。校准数据H1是最初即第一个被登记于校准数据存储部26的校准数据。此时，在步骤S002中取得的照相机坐标vx作为与校准数据H1对应的基准标记5的照相机坐标m1而与校准数据H1一起被登记于校准数据存储部26。
而且，在步骤S019中，校准数据更新部27将机器人控制部20所使用的校准数据更新为在步骤S018中登记于校准数据存储部26的校准数据H1。在步骤S019中，校准数据更新部27将设定为机器人控制部20所使用的校准数据的校准数据更新为新登记的校准数据、即在校准数据存储部26最后登记的校准数据。在向校准数据存储部26登记初始的校准数据H1而最初进入步骤S019时，未设定机器人控制部20所使用的校准数据，因此将校准数据H1设定于机器人控制部20。
在步骤S020中，结束条件判定部28判定是否满足结束条件。结束条件是将在后面说明的步骤S011中的机器人1的动作时间多次相加得到的合计超过实际运用所假想的时间的情况、预先确定的数量的校准数据向校准数据存储部26的登记完成的情况之类的条件，也可以将如果满足多个条件的任意者则结束设为结束条件。将对步骤S011中的机器人1的动作时间相加得到的合计超过实际运用所假想的时间的情况设为结束条件是因为，假想为在实际运用的环境中的校准数据的取得已完成。另外，将预先确定的数量的校准数据向校准数据存储部26的登记已完成的情况设为结束条件是因为，考虑到能够尽量确保所登记的校准数据的多样性。因此，如果结束条件判定部28判定为满足结束条件(步骤S020:Yes)，则处理结束。
但是，从步骤S001最初进入步骤S020的情况也未经过步骤S011，在校准数据存储部26仅登记有一个校准数据，因此，结束条件判定部28判定为不满足结束条件(步骤S020:No)，进入步骤S011。
在步骤S011中，机器人控制部20使机器人1进行与实际运用相同的动作。步骤S011中的机器人1的动作是在连续动作试验之类的事先动作确认中使机器人1执行的动作，图4的校准数据的事先登记能够追加至连续动作试验之类的事先动作确认作业而执行。
如果步骤S011中的预先确定的机器人1的动作结束，则机器人控制部20使机器人1的手指尖向对基准标记5进行拍摄的位置移动(步骤S012)。此时，机器人控制部20以使得机器人1的机器人坐标成为在步骤S001中存储的基准机器人坐标的方式进行控制。
接着，视觉传感器3对基准标记5进行拍摄而创建图像数据，图像处理部21对图像数据进行处理而取得基准标记5的照相机坐标vx(步骤S013)。此时所取得的照相机坐标vx与在步骤S002或者前次的步骤S013中所取得的照相机坐标vx不同的情况的原因在于，由使机器人1运转时的热漂移之类的历时性的变化产生的机构误差。
而且，误差计算部22对机器人1的控制位置误差d进行计算(步骤S014)。具体而言，基于下面的算式(1)而进行计算。
d＝Hi(vx-mi)i＝1，..，n(1)
这里，vx、mi、d是矢量，Hi是矩阵。
算式(1)中的Hi是机器人控制部20当前所使用的校准数据，mi是与校准数据Hi对应的基准标记5的照相机坐标。因此，(vx-mi)是表示在以使得机器人1处于基准机器人坐标的方式控制的状态下拍摄的基准标记5的当前的照相机坐标vx相对于与所使用的校准数据Hi对应的基准标记5的照相机坐标mi以何种程度偏离的照相机坐标的误差矢量。而且，通过将(vx-mi)与校准数据Hi相乘，得到机器人坐标的误差矢量即控制位置误差d。
图5是对实施方式1中的照相机坐标的误差和机器人坐标的误差之间的关系进行说明的图。在图5的照相机坐标中，在照相机坐标vx示出基准标记5的当前的识别位置。而且，在图5的照相机坐标还示出与在机器人控制部20当前设定并使用的校准数据Hi对应的基准标记5的照相机坐标mi。照相机坐标vx从照相机坐标mi偏离的原因在于，如上述那样使机器人1运转时的热漂移之类的历时性变化中的机构误差。而且，将算式(1)的右边的括号展开时的第一项即Hivx成为与机器人坐标中此次的照相机坐标vx对应的测量点。将算式(1)的右边的括弧展开时的第二项即Himi是基于基准标记5的设置位置而决定的机器人坐标中的固定坐标，其成为基准机器人坐标。Himi是固定坐标表示需要根据基准标记5的照相机坐标mi移动而对校准数据Hi进行变更。而且，Hivx的从Himi起的任意者成为机器人坐标中的误差矢量的控制位置误差d。
此外，在最初进入步骤S014时，机器人控制部20当前使用的校准数据为H1，与校准数据H1对应的基准标记5的照相机坐标为m1，因此算式(1)变为d＝H1(vx-m1)。
在步骤S014中求出机器人1的控制位置误差d之后，误差判定部23判定误差d的绝对值是否大于预先确定的阈值(步骤S015)。在误差判定部23判定为误差d的绝对值小于或等于阈值的情况下(步骤S015:No)，进入步骤S020。
在误差判定部23判定为误差d的绝对值大于预先确定的阈值的情况下(步骤S015:Yes)，进入步骤S016并执行自动校准。在步骤S016中，将校准数据计算部24计算出的新的校准数据设为预备校准数据G2。
接着，在步骤S017中，校准数据相似判定部25判定在步骤S016中求出的预备校准数据G2是否与已登记于校准数据存储部26的校准数据相似(步骤S017)。当前登记于校准数据存储部26的仅是校准数据H1。因此，在校准数据相似判定部25判定为预备校准数据G2与校准数据H1相似的情况下(步骤S017:Yes)，将预备校准数据G2废弃，进入步骤S020。在校准数据相似判定部25判定为预备校准数据G2与校准数据H1不相似的情况下(步骤S017:No)，进入步骤S018，预备校准数据G2作为校准数据H2而登记于校准数据存储部26。
下面说明在步骤S017中由校准数据相似判定部25判定预备校准数据G2是否与所登记的校准数据H1相似的判定方法的一个例子。首先，将作为矩阵的预备校准数据G2的要素按顺序排列而设为范数为1的矢量，将该矢量设为g2。接着，与将同样作为矩阵的校准数据H1的要素以与创建g2时相同的顺序排列，设为范数为1的矢量，间该矢量设为h1。然后，对g2和h1的内积进行计算，与规定值进行比较。在g2和h1的内积大于或等于规定值的情况下，校准数据相似判定部25判定为预备校准数据G2与校准数据H1相似(步骤S017:Yes)。另一方面，在g2和h1的内积小于规定值的情况下，校准数据相似判定部25判定为预备校准数据G2与校准数据H1不相似(步骤S017:No)。
在步骤S018中，在将预备校准数据G2作为校准数据H2而登记于校准数据存储部26之后，进入步骤S019。
在步骤S019中，校准数据更新部27将设定于机器人控制部20所使用的校准数据的校准数据H1更新为向校准数据存储部26新登记的校准数据H2。之后，进入步骤S020。
如上所述，执行图4所示的流程图而重复执行步骤S018，由此，向校准数据存储部26事先登记校准数据H1、H2、..、Hn，该校准数据H1、H2、..、Hn是考虑了机器人1的实际动作环境中的历时性变化的条件下的具有多样性的n个校准数据。另外，与校准数据H1、H2、..、Hn分别对应的基准标记5的照相机坐标m1、m2、..、mn也登记于校准数据存储部26。
如以上说明所述，根据实施方式1涉及的机器人控制装置2，在产生使机器人1长期运转时的热漂移之类的历时性的机构误差的环境下，能够将考虑了该机构误差的多个校准数据登记于校准数据存储部26。机器人控制部20使用上述多个校准数据，由此即使在向机器人1施加历时性的变形的情况下，也能够对机构误差进行校正而实现机器人1的动作的位置精度的提高。
机器人控制部20可以按登记于校准数据存储部26的顺序使用所登记的多个校准数据。另外，机器人控制部20也可以按照登记于校准数据存储部26的时间间隔而使用所登记的多个校准数据。并且，机器人控制部20也可以按照在实施方式2中后面说明的方法而使用所登记的多个校准数据。根据哪种方法，都能够期待在向机器人1施加历时性的变形的情况下对机构误差进行校正而实现机器人1的动作的位置精度的提高。
此外，图4所示的流程图能够通过向使机器人1执行步骤S011的处理的动作程序追加对图4的步骤S011以外的处理进行执行的内容而实现。
在图1以及图2中，示出了将视觉传感器3安装于机器人1的手指尖的手眼方式的例子，但视觉传感器3的设置方式不限定于此。图6是表示实施方式1涉及的机器人1、视觉传感器3以及基准标记5的其他结构的情形的斜视图。图7是表示实施方式1涉及的固定方式下的基准标记5的拍摄画面的图。图8是表示实施方式1涉及的固定方式下的基准标记5的拍摄画面的其他图。
如图6所示，可以采用将视觉传感器3以不移动的方式固定于设置有机器人1的空间而将基准标记5安装于机器人1的手指尖的固定方式。此外，将视觉传感器3连接于图6中省略了记载的机器人控制装置2。
在该情况下，在图4的步骤S002以及对校准数据进行登记的情况下的步骤S013中，取得基准标记5的照相机坐标vx即照相机坐标mi，上述情形由图7示出。而且，在如图7那样取得照相机坐标mi之后，将步骤S011重复进行多次而在机器人1经过了热漂移之类的历时性变化之后取得基准标记5的照相机坐标vx，上述情形由图8示出。如图8所示，照相机坐标vx从照相机坐标mi起由于历时性变化而移动。
这样，在采用固定方式的情况下，也与采用手眼方式的情况完全相同地，能够执行图4的流程图，能够将校准数据H1、H2、..、Hn事先登记于校准数据存储部26。此外，视觉传感器3的构成方法只要是能够执行图4的流程图，则可以采用手眼方式以及固定方式以外的构成方法。
实施方式2.
图9是表示本发明的实施方式2涉及的机器人控制装置6的结构的图。机器人控制装置6是向图1的机器人控制装置2追加了校准数据选择部30。机器人控制装置6的校准数据选择部30以外的要素的功能与标出相同的标号的机器人控制装置2的要素的功能相同。实施方式2涉及的机器人控制系统的结构是将图1的机器人控制装置2置换为机器人控制装置6的结构。另外，视觉传感器3也可以由图1以及图2的手眼方式、图6的固定方式或其以外的方法构成。
图10是使用实施方式2涉及的校准数据的机器人控制系统的实际运用时的流程图。在开始图10的流程图之前，如在实施方式1中说明的那样，向校准数据存储部26事先登记有校准数据H1、H2、..、Hn。而且，将作为要使用的校准数据而从校准数据H1、H2、..、Hn之后选择出的1个校准数据Hk设定于机器人控制部20。对于最初设定于机器人控制部20的校准数据Hk，在考虑到开始进行机器人1的实际运用时不产生热漂移之类的历时性变化的状况的情况下，可以选择校准数据H1，但只要是从校准数据H1、H2、..、Hn之中选择的校准数据，可以是任意的校准数据。
首先，机器人控制部20使机器人1动作以执行规定的作业(步骤S021)。此外，在图4的步骤S011中，进行步骤S021的动作。
接着，机器人控制部20使机器人1的手指尖向对基准标记5进行拍摄的位置移动(步骤S022)。此时，机器人控制部20以使得机器人1处于在图4的步骤S001中存储的基准机器人坐标的方式进行控制。
接着，视觉传感器3对基准标记5进行拍摄而创建图像数据，图像处理部21对图像数据进行处理而取得基准标记5的照相机坐标vx(步骤S023)。
然后，误差计算部22对机器人1的控制位置误差d进行计算(步骤S024)。控制位置误差d通过在实施方式1中在对步骤S014进行说明时所使用的算式(1)而进行计算。因此，变为最初执行步骤S024而求出的d＝Hk(vx-mk)。
在通过步骤S024而求出机器人1的控制位置误差d之后，误差判定部23判定误差d的绝对值是否大于预先确定的阈值(步骤S025)。在误差判定部23判定为误差d的绝对值小于或等于阈值的情况下(步骤S025:No)，进入步骤S028。
在误差判定部23判定为误差d的绝对值大于预先确定的阈值的情况下(步骤S025:Yes)，进入步骤S026，校准数据选择部30从校准数据存储部26选择误差d的绝对值最小的校准数据。具体而言，针对登记于校准数据存储部26的校准数据H1、H2、..、Hn，根据算式(1)求出误差d，由校准数据选择部30选择误差d的绝对值最小的校准数据。
然后，校准数据更新部27将设定为机器人控制部20所使用的校准数据的校准数据更新为在步骤S026中选择出的校准数据(步骤S027)。因此，在最初执行步骤S026的情况下，将设定为机器人控制部20所使用的校准数据的校准数据Hk更新为在步骤S026中选择出的校准数据Hl。
然后，在步骤S028中，结束条件判定部28判定是否满足结束条件。结束条件是机器人1的实际运用中的结束条件。因此，如果结束条件判定部28判定为满足结束条件(步骤S028:Yes)，则处理结束。如果结束条件判定部28判定为不满足结束条件(步骤S028:No)，则返回步骤S021而使机器人1动作。
图11是对实施方式2中的误差d的时间变化进行说明的图。误差d由于机器人1的历时性的变化所引起的机械误差，随着时间的经过而增大，但在图11中，示出误差d在每次在步骤S027中对机器人控制部20所使用的校准数据进行更新时以不超过阈值的方式减少的情形。
如以上说明，根据实施方式2涉及的机器人控制装置6，不需要在机器人1的动作中取得与历时性的机构误差相应的校准数据的时间，就能够一边适当地对历时性的机构误差进行校正一边有效地使机器人1动作。
以上实施方式所示的结构表示本发明的内容的一个例子，可以与其它公知技术组合，在不脱离本发明的主旨的范围，还可以对结构的一部分进行省略、变更。
标号的说明
1机器人，2、6机器人控制装置，3视觉传感器，4作业台，5基准标记，20机器人控制部，21图像处理部，22误差计算部，23误差判定部，24校准数据计算部，25校准数据相似判定部，26校准数据存储部，27校准数据更新部，28结束条件判定部，30校准数据选择部，100机器人控制系统，201CPU，202存储器，203存储装置，204显示装置，205输入装置。

Claims (7)

1.一种机器人控制装置，其特征在于，
具有：
机器人控制部，其使用校准数据对机器人的动作进行控制；
图像处理部，其根据视觉传感器取得的图像数据而取得基准标记的照相机坐标；
误差计算部，其基于与所述校准数据对应的所述基准标记的照相机坐标和所述基准标记的当前的照相机坐标之差而求出误差；
校准数据计算部，其在所述误差的绝对值大于阈值的情况对新的校准数据进行计算；以及
校准数据存储部，其对所述新的校准数据进行登记，
使所述校准数据计算部多次计算所述新的校准数据，以使得所述机器人的动作夹在该新的校准数据的计算之间，将多个所述新的校准数据登记于所述校准数据存储部。
2.根据权利要求1所示的机器人控制装置，其特征在于，
将与登记于所述校准数据存储部的校准数据不相似的所述新的校准数据登记于所述校准数据存储部。
3.根据权利要求1所示的机器人控制装置，其特征在于，
所述机器人控制装置还具有校准数据选择部，该校准数据选择部在所述误差的绝对值大于阈值的情况，从登记于所述校准数据存储部的多个校准数据之中选择所述误差的绝对值最小的校准数据，
所述机器人控制部使用所述校准数据选择部选择出的校准数据。
4.根据权利要求2所示的机器人控制装置，其特征在于，
所述机器人控制装置还具有校准数据选择部，该校准数据选择部在所述误差的绝对值大于阈值的情况，从登记于所述校准数据存储部的多个校准数据之中选择所述误差的绝对值最小的校准数据，
所述机器人控制部使用所述校准数据选择部选择出的校准数据。
5.根据权利要求1至4中任一项所述的机器人控制装置，其特征在于，
所述视觉传感器设置于所述机器人。
6.根据权利要求1至4中任一项所述的机器人控制装置，其特征在于，
所述视觉传感器被固定以使得不移动。
7.一种校准方法，其特征在于，
具有：
动作步骤，使用校准数据使机器人进行动作；
根据视觉传感器取得的图像数据而取得基准标记的照相机坐标的步骤；
误差计算步骤，基于与所述校准数据对应的所述基准标记的照相机坐标和所述基准标记的当前的照相机坐标之差而求出误差；
在所述误差的绝对值大于阈值的情况下对新的校准数据进行计算的步骤；以及
登记步骤，对所述新的校准数据进行登记，
在所述计算步骤中多次计算所述新的校准数据，以使得所述动作步骤位于在该新的校准数据的计算之间，由此所述登记步骤对多个所述新的校准数据进行登记。
CN201780079210.6A 2017-03-09 2017-06-08 机器人控制装置以及校准方法 Active CN110114191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-045267 2017-03-09
JP2017045267 2017-03-09
PCT/JP2017/021349 WO2018163450A1 (ja) 2017-03-09 2017-06-08 ロボット制御装置およびキャリブレーション方法

Publications (2)

Publication Number Publication Date
CN110114191A CN110114191A (zh) 2019-08-09
CN110114191B true CN110114191B (zh) 2020-05-19

Family

ID=63448493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079210.6A Active CN110114191B (zh) 2017-03-09 2017-06-08 机器人控制装置以及校准方法

Country Status (4)

Country Link
US (1) US20200016757A1 (zh)
CN (1) CN110114191B (zh)
DE (1) DE112017005958T5 (zh)
WO (1) WO2018163450A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234814A1 (ja) 2018-06-05 2019-12-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
KR102577448B1 (ko) 2019-01-22 2023-09-12 삼성전자 주식회사 핸드 아이 캘리브레이션 방법 및 시스템
JP7281910B2 (ja) * 2019-01-28 2023-05-26 株式会社Fuji ロボット制御システム
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10399227B1 (en) * 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10576636B1 (en) * 2019-04-12 2020-03-03 Mujin, Inc. Method and control system for and updating camera calibration for robot control
JP2021003794A (ja) * 2019-06-27 2021-01-14 ファナック株式会社 ツールの作業位置のずれ量を取得する装置、及び方法
US20230032421A1 (en) * 2020-01-14 2023-02-02 Fanuc Corporation Robot system
WO2022074448A1 (en) * 2020-10-06 2022-04-14 Mark Oleynik Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential environments with artificial intelligence and machine learning
CN112719583A (zh) * 2020-12-10 2021-04-30 广东科学技术职业学院 激光传感智能焊接机器人及其焊枪归零计算方法
US11911915B2 (en) * 2021-06-09 2024-02-27 Intrinsic Innovation Llc Determining robotic calibration processes
TWI793044B (zh) * 2022-07-07 2023-02-11 和碩聯合科技股份有限公司 機器手臂的手眼校正方法和手眼校正裝置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
CN1704210A (zh) * 2004-06-02 2005-12-07 发那科株式会社 机械手系统
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
JP2014069272A (ja) * 2012-09-28 2014-04-21 Denso Wave Inc キャリブレーション装置、および撮像装置のキャリブレーション方法
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法
CN104511900A (zh) * 2013-09-26 2015-04-15 佳能株式会社 机器人校准装置及校准方法、机器人装置及其控制方法
CN104647387A (zh) * 2013-11-25 2015-05-27 佳能株式会社 机器人控制方法、系统和装置
CN104736304A (zh) * 2012-10-19 2015-06-24 伊诺斯自动化软件有限责任公司 工业机器人的在线校准方法,执行该方法的系统和包括该校准系统的工业机器人
JP2016078195A (ja) * 2014-10-21 2016-05-16 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置及びロボットの制御方法
CN106457562A (zh) * 2014-06-23 2017-02-22 Abb瑞士股份有限公司 用于校准机器人的方法和机器人系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993005479A1 (en) * 1991-08-30 1993-03-18 Cimetrix Incorporated Robot end-effector terminal control frame (tcf) calibration method and device
CN1704210A (zh) * 2004-06-02 2005-12-07 发那科株式会社 机械手系统
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人系统中再校准三维视觉传感器的方法和设备
JP2014069272A (ja) * 2012-09-28 2014-04-21 Denso Wave Inc キャリブレーション装置、および撮像装置のキャリブレーション方法
CN104736304A (zh) * 2012-10-19 2015-06-24 伊诺斯自动化软件有限责任公司 工业机器人的在线校准方法,执行该方法的系统和包括该校准系统的工业机器人
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法
CN104511900A (zh) * 2013-09-26 2015-04-15 佳能株式会社 机器人校准装置及校准方法、机器人装置及其控制方法
CN104647387A (zh) * 2013-11-25 2015-05-27 佳能株式会社 机器人控制方法、系统和装置
CN106457562A (zh) * 2014-06-23 2017-02-22 Abb瑞士股份有限公司 用于校准机器人的方法和机器人系统
JP2016078195A (ja) * 2014-10-21 2016-05-16 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置及びロボットの制御方法

Also Published As

Publication number Publication date
WO2018163450A1 (ja) 2018-09-13
DE112017005958T5 (de) 2019-08-29
CN110114191A (zh) 2019-08-09
US20200016757A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110114191B (zh) 机器人控制装置以及校准方法
JP6301045B1 (ja) ロボット制御装置およびキャリブレーション方法
US10112301B2 (en) Automatic calibration method for robot systems using a vision sensor
JP6353289B2 (ja) 測距補正装置
JP6201379B2 (ja) 位置算出システム、位置算出プログラム、および、位置算出方法
JP6636252B2 (ja) 投影システム、プロジェクター装置、撮像装置、および、プログラム
US20130166061A1 (en) Object gripping apparatus, control method for object gripping apparatus, and storage medium
CN114174006B (zh) 机器人手眼标定方法、装置、计算设备、介质以及产品
CN113825980B (zh) 机器人手眼标定方法、装置、计算设备以及介质
US10664939B2 (en) Position control system, position detection device, and non-transitory recording medium
CN106530322B (zh) 抖动视频中目标跟踪的方法
JP6936974B2 (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
US20220191995A1 (en) Systems and methods for determining lighting fixture arrangement information
JP2018022247A5 (zh)
CN110582733B (zh) 用于估计工业机器人的调试工具的系统误差的方法和装置
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP2010145219A (ja) 運動推定装置及びプログラム
CN108345463B (zh) 基于机器人的三维测量方法、装置、机器人和存储介质
JP2014144516A (ja) ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム
US10973106B2 (en) Systems and methods of directing a lighting fixture in a venue
JP6603993B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP2018041169A5 (zh)
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP6341108B2 (ja) 撮像パラメータ決定装置、携帯端末装置、撮像パラメータ決定システム、撮像パラメータ決定方法および撮像パラメータ決定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant