CN114945450A - 机器人系统 - Google Patents
机器人系统 Download PDFInfo
- Publication number
- CN114945450A CN114945450A CN202180008788.9A CN202180008788A CN114945450A CN 114945450 A CN114945450 A CN 114945450A CN 202180008788 A CN202180008788 A CN 202180008788A CN 114945450 A CN114945450 A CN 114945450A
- Authority
- CN
- China
- Prior art keywords
- robot
- image
- coordinate system
- unit
- vision sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 44
- 230000005856 abnormality Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003754 machining Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
Abstract
提供一种能够适当地进行机器人的动作校正的机器人系统。机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。
Description
技术领域
本发明涉及一种机器人系统。
背景技术
以往以来，机器人系统具有摄像装置等视觉传感器，由视觉传感器识别对象物的位置，来进行对象物的处理及加工等作业。视觉传感器通过设置于机器人的手附近的摄像装置、设置于机器人的周边的摄像装置来拍摄对象物。
这样的机器人系统从所拍摄到的图像中检测对象物，相对于所检测到的对象物的位置控制机器人的动作以使机器人进行作业。
机器人系统使用摄像装置的校准数据，来将所检测到的对象物的位置(图像坐标系中的位置或从视觉传感器观察的传感器坐标系中的位置)变换为从机器人观察的工件的位置(机器人坐标系中的位置)(例如，参照专利文献1)。由此，机器人系统能够相对于所检测到的对象物的位置校正机器人的动作以使机器人进行作业。
现有技术文献
专利文献
专利文献1：日本特开平4-35885号公报
发明内容
发明要解决的问题
在这样的机器人系统中，使用视觉传感器的机器人的动作校正有时因各种设定的错误而未被正确地进行。在这样的情况下，机器人会进行不期望的动作，因此期望适当地进行机器人的动作校正。
用于解决问题的方案
本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。
本公开所涉及的机器人系统具备：视觉传感器，其在使机器人移动规定距离所到达的多个位置分别拍摄对象物的多个图像；校准数据存储部，其存储将成为所述机器人的动作控制的基准的机器人坐标系与成为所述视觉传感器的测量处理的基准的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述多个图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。
本公开所涉及的机器人控制方法包括以下步骤：对机器人的动作校正进行设定；在所述机器人的第一位置拍摄对象物的第一图像；在使所述机器人从所述第一位置移动规定距离所到达的第二位置拍摄所述对象物的第二图像；基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；判定所述第一位置与所述第二位置之差是否在规定范围内；在判定为所述差在所述规定范围外的情况下，基于所述第一位置、所述第二位置、与所述第一位置对应的所述机器人的位置以及与所述第二位置对应的所述机器人的位置，来估计所述机器人的动作校正的异常原因；以及基于所估计出的所述机器人的动作校正的异常原因，来变更所述机器人的动作校正的设定。
本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其基于所述第一位置和所述第二位置，来判定所述第一位置与所述第二位置之间的关系是否处于规定范围内。
本公开所涉及的机器人系统具备：视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置进行移动所到达的多个位置拍摄所述对象物的多个图像；校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；第一获取部，其基于所述校准数据和所述对象物的第一图像，来获取所述对象物在机器人坐标系中的第一位置；第二获取部，其基于所述第一图像和所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及判定部，其基于所述第一位置和所述多个位置，来判定所述第一位置与所述多个位置之间的关系是否处于规定范围内。
发明的效果
根据本发明，能够适当地进行机器人的动作校正。
附图说明
图1是示出机器人系统的结构的图。
图2是示出视觉传感器控制装置和机器人控制装置的结构的图。
图3是示出视觉传感器的移动的图。
图4是示出第二位置Ps的图。
图5是示出第一位置Pw与第二位置Ps之间的关系的图。
图6是示出视觉传感器的移动的图。
图7是示出校准用的校准治具的图。
图8是示出使用校准治具进行的校准的图。
图9是示出视觉传感器控制装置的处理的流程图。
具体实施方式
下面，对本发明的实施方式的一例进行说明。
图1是示出机器人系统1的结构的图。
如图1所示，机器人系统1具备机器人2、臂3、视觉传感器4、视觉传感器控制装置5以及机器人控制装置6。
机器人系统1例如基于由视觉传感器4拍摄到的对象物W的图像，来识别对象物W的位置，从而进行对象物W的处理或加工等作业。
在机器人2的臂3的前端部安装有手或工具。机器人2通过机器人控制装置6的控制来进行对象物W的处理或加工等作业。另外，在机器人2的臂3的前端部安装有视觉传感器4。
视觉传感器4通过视觉传感器控制装置5的控制来拍摄对象物W。视觉传感器4可以使用具有由CCD(Charge Coupled Device：电荷耦合器件)图像传感器构成的摄像元件、以及包括透镜的光学系统的二维摄像机，也可以使用能够进行三维测量的立体摄像机等。
机器人控制装置6执行机器人2的动作程序，来控制机器人2的动作。此时，机器人控制装置6相对于由视觉传感器控制装置5检测到的对象物W的位置校正机器人2的动作，以使机器人2进行规定的作业。
图2是示出视觉传感器控制装置5和机器人控制装置6的结构的图。视觉传感器控制装置5具备存储部51和控制部52。
存储部51是保存OS(Operating System：操作系统)、应用程序等的ROM(Read OnlyMemory：只读存储器)、RAM(Random Access Memory：随机存取存储器)、保存其它各种信息的硬盘驱动器、SSD(Solid State Drive：固态驱动器)等存储装置。
存储部51具备模型图案存储部511和校准数据存储部512。
模型图案存储部511存储将对象物W的像模型化所得到的模型图案、例如表示对象物W的像的特征的模型图案。
校准数据存储部512存储将成为机器人2的动作控制的基准的机器人坐标系与成为视觉传感器4的测量处理的基准的图像坐标系相互关联起来的校准数据。对于校准数据的形式和求得该校准数据的形式的方法，提出了各种方式，可以使用其中的任一种方式。
控制部52是CPU(Central Processing Unit：中央处理单元)等处理器，通过执行存储部51中所存储的程序来作为第一获取部521、第二获取部522、判定部523、估计部524、校准部525以及通知部526发挥功能。
第一获取部521基于校准数据和由视觉传感器4拍摄到的对象物W的第一图像，来获取对象物W在机器人坐标系中的第一位置Pw。
第二获取部522基于对象物W的第一图像和第二图像，来获取对象物W在机器人坐标系中的第二位置Ps。
判定部523判定第一位置Pw与第二位置Ps之差是否在规定范围内。
在由判定部523判定为差在规定范围外的情况下，估计部524基于第一位置Pw、第二位置Ps、与第一位置Pw对应的机器人2的位置以及与第二位置Ps对应的机器人2的位置，来估计机器人2的动作校正的异常原因。
另外，在由判定部523判定为差在所述规定范围外的情况下，视觉传感器4在多个位置拍摄对象物W的多个图像。然后，估计部524基于多个图像和多个位置来估计机器人2的动作校正的异常原因。
校准部525执行视觉传感器4的校准。对于视觉传感器4的校准的详细内容在后面记述。
在由判定部523判定为差在规定范围外的情况下，通知部526通知机器人2的动作校正存在异常这一情况。
另外，通知部526通知由估计部524估计出的异常原因。通知部526的通知方式例如是在显示部(未图示)等显示异常消息等。
机器人控制装置6具备动作控制部61。动作控制部61执行机器人2的动作程序来控制机器人2的动作。
接着，参照图3至图8来对视觉传感器控制装置5的详细的动作进行说明。
首先，校准部525对视觉传感器4的校准例如下面那样进行。
图7是示出校准用的校准治具7的图。图8是示出使用校准治具7进行的校准的图。
校准治具7具有如图7所示的点图案来作为能够由视觉传感器4识别的图案。点图案由呈格子状配置的大的点和小的点构成。尺寸大的点呈L字状配置，表示校准治具7的坐标系。
校准部525预先设定从机器人坐标系观察的校准治具7的位置。
另外，校准治具7的点的间隔可以从校准治具的设计图纸等得知。因此，校准部525对点的间隔指定已知的值，并将点的间隔作为校准数据的一部分存储于校准数据存储部512。
视觉传感器4对校准治具7进行拍摄。另外，校准部525获取在拍摄校准治具7时的机器人的位置。
动作控制部61使机器人2相对于校准治具7沿垂直方向移动，视觉传感器4对校准治具7进行拍摄。另外，校准部获取在拍摄校准治具7时的机器人的位置。
校准部525使用校准治具7的各图像的多个点在图像坐标系中的位置和在机器人坐标系中的位置的信息来进行视觉传感器4的校准。
通过进行视觉传感器4的校准，求出视觉传感器4的外部参数和内部参数。
在此，外部参数是与视觉传感器的位置及姿势有关的信息，内部参数是与透镜的焦距、透镜畸变、受光元件的尺寸等视觉传感器的光学系统的条件有关的信息。
图3是示出视觉传感器4的移动的图。首先，机器人控制装置6的动作控制部61使机器人2移动以使对象物W进入摄像范围，视觉传感器4拍摄对象物W的第一图像。此时，第一获取部521存储在拍摄时的机器人2的位置。
第一获取部521使用模型图案存储部511中所存储的模型图案，来从拍摄到的第一图像的预先决定的范围中检测对象物W。由此，第一获取部521获取对象物W在图像坐标系中的位置姿势。
第一获取部521基于在拍摄时的机器人2的位置和校准数据存储部512中所存储的校准数据，来将对象物W在图像坐标系中的位置变换为在机器人坐标系(世界坐标系)中的三维位置Pw。通过这样，第一获取部521获取对象物W在机器人坐标系中的第一位置Pw。
在此，在为了检测对象物W而使用了二维摄像机的情况下，第一获取部521假定为对象物W的检测部位位于某个平面(校正平面)上而获取作为三维位置的第一位置Pw。该校正平面典型的是由用户使用与视觉传感器控制装置5连接的操作板(未图示)等设定的。
通常来说，使用对象物W的第一位置Pw来进行机器人2的动作校正。此时，动作校正的方式使用绝对位置校正和相对位置校正。
在绝对位置校正中，动作控制部61使机器人2的TCP(Tool Center Point：工具中心点)8(参照图8)移动到第一位置Pw。
在相对位置校正中，控制部52预先决定成为基准的对象物的位置(基准位置)，计算基准位置与第一位置Pw之差来作为校正量。然后，机器人控制装置6通过将所求出的校正量添加到预先设定的机器人2的动作中来进行机器人2的动作校正。
在进行如上所述的动作校正的设定时，存在因各种设定的错误而未正确进行的情况。
因此，为了判定机器人2的动作校正的错误，本实施方式所涉及的机器人系统1执行如下所示的处理。
如图3所示，机器人控制装置6的动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向移动规定距离D，视觉传感器4在机器人2移动规定距离D所到达的位置拍摄对象物W的第二图像。
在此，规定距离D表示从基准位置到对象物W充分移动且能够由视觉传感器4检测对象物W的位置的距离。
图4是示出第二位置Ps的图。图5是示出第一位置Pw与第二位置Ps之间的关系的图。
第二获取部522在第一图像和第二图像的各个图像中检测对象物，该第一图像是在基准位置拍摄对象物W所得到的图像，该第二图像是在使机器人2移动规定距离D所到达的位置拍摄对象物W所得到的图像。由此求出两个视点A和视点B下的图像坐标系中的对象物的位置。
然后，第二获取部522根据图像坐标系中的对象物W的位置来计算两个视线。第二获取部522获取两个视线的交点、或两个视线间的距离最近的点来作为对象物W的第二位置Ps。
在图4的例子中，两个视线不相交，因此第二获取部522获取两个视线间的距离最近的点来作为对象物W的第二位置Ps。
此外，摄像部也可以拍摄多个图像来作为第二图像。在该情况下，摄像部重复进行如下处理：在使机器人2移动规定距离D所到达的位置拍摄对象物W，在使机器人2从拍摄完的位置再移动规定距离D所到达的位置拍摄对象物W。
另外，在摄像部拍摄多个图像(例如三个以上的图像)作为第二图像的情况下，第二获取部522根据对象物W在图像坐标系中的位置来计算三个以上的视点。在该情况下，第二获取部522获取三个以上的视点的交点来作为对象物W的第二位置Ps，或者使用最小二乘法来获取三个以上的视线间的距离最短的位置来作为对象物W的第二位置Ps。
在此，由于对象物W不移动，因此虽然图像内的对象物W的位置发生变动，但第一位置Pw与第二位置Ps的位置偏移(差)应处于误差范围内。
因此，判定部523判定第一位置Pw与第二位置Ps之差是否在规定范围内。
在由判定部523判定为差在规定范围内的情况下，估计部524判断为机器人2的动作校正正常。
另外，在由判定部523判定为差在规定范围外的情况下，估计部524判断为机器人2的动作校正异常，基于第一位置Pw、第二位置Ps、与第一位置Pw对应的机器人2的位置以及与第二位置Ps对应的机器人2的位置来估计机器人2的动作校正的异常原因。
具体地说，在由判定部523判定为差在规定范围外的情况下，在两个视线不相交(例如图4那样的情况)时，估计部524估计为校准数据存储部512中所存储的校准数据错误。
另外，在由判定部523判定为差在规定范围外的情况下，若两个视线相交，则估计部524估计为如图5所示那样校正平面不正确。
在估计为校准数据错误的情况下，能够通过利用其它的校准方法进行校准来估计校准数据的何处错误。图6是示出视觉传感器4的移动的图。如图6所示，动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向以栅格状的方式移动。视觉传感器4在机器人2移动所到达的多个位置拍摄对象物W的图像。由此，视觉传感器4拍摄对象物W的多个图像。
校准部525从拍摄到的多个图像中检测对象物W，获取对象物W在图像坐标系中的位置Pci。
另外，校准部525求出在拍摄图像时从机器人2的法兰的位置观察的对象物W的位置Psi。
像这样，动作控制部61使机器人2移动n次(i＝1，2，3，···，n)，视觉传感器4进行n次对象物W的图像的拍摄。校准部525利用由此得到的n组(Pci，Psi)来进行视觉传感器4的校准。
估计部524通过将像这样求出的视觉传感器4的外部参数及内部参数与如上述那样由校准部525预先求出的外部参数及内部参数(参照图7和图8)进行比较，能够判定外部参数及内部参数的异常。
例如，在外部参数不正确的情况下，估计部524估计为通过校准所求出的内部参数不正确、或校准治具7的位置不正确。
另外，在内部参数不正确的情况下，估计部524估计为所指定的点的间隔不正确、或在校准中使用了不适当的点。
图9是示出视觉传感器控制装置5的处理的流程图。
在步骤S1中，动作控制部61使机器人2移动以使对象物W进入摄像范围，视觉传感器4拍摄对象物W的第一图像。此时，第一获取部521存储在拍摄时的机器人2的位置。
在步骤S2中，第一获取部521使用模型图案存储部511中所存储的模型图案，来从拍摄到的第一图像的预先决定的范围中检测对象物W。
第一获取部521基于校准数据存储部512中所存储的校准数据和在拍摄时的机器人2的位置，来将对象物W在图像坐标系中的位置变换为在机器人坐标系中的第一位置Pw。
在步骤S3中，机器人控制装置6的动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向移动规定距离D，视觉传感器4在机器人2移动规定距离D所到达的位置拍摄对象物W的第二图像。
在步骤S4中，第二获取部522在第一图像和第二图像的各个图像中检测对象物，该第一图像是在基准位置拍摄对象物W所得到的图像，该第二图像是在使机器人2移动规定距离D所到达的位置拍摄对象物W所得到的图像。
第二获取部522根据对象物W在图像坐标系中的位置来计算两个视线。第二获取部522获取两个视线的交点、或两个视线间的距离最近的点来作为对象物W的第二位置Ps。
在步骤S5中，判定第一位置Pw与第二位置Ps之差是否在规定范围内。在差在规定范围内(“是(YES)”)的情况下，处理转移到步骤S6，在差在规定范围外(“否(NO)”)的情况下，处理转移到步骤S7。
在步骤S6中，估计部524判断为机器人2的动作校正正常，之后结束处理。
在步骤S7中，判断为机器人2的动作校正异常，基于第一位置Pw、第二位置Ps、与第一位置Pw对应的机器人2的位置以及与第二位置Ps对应的机器人2的位置，来估计机器人2的动作校正的异常原因。
在步骤S8中，通知部526通知机器人的动作校正存在异常这一情况。另外，通知部526通知由估计部524估计出的异常原因。
在步骤S9中，动作控制部61使机器人2从基准位置朝向与视觉传感器4的光轴正交的方向以栅格状的方式移动。视觉传感器4在机器人2移动所到达的多个位置拍摄对象物W的图像。由此，视觉传感器4拍摄对象物W的多个图像。
在步骤S10中，校准部525从拍摄到的多个图像中检测对象物W，并获取对象物W在图像坐标系中的位置Pci。
另外，校准部525求出在拍摄图像时从机器人2的法兰的位置观察的对象物W的位置Psi。校准部525利用由此得到的n组(Pci，Psi)来进行视觉传感器4的校准。
根据本实施方式，机器人系统1具备：视觉传感器4，其在机器人2的基准位置拍摄对象物W的第一图像，在使机器人2从基准位置移动规定距离D所到达的位置拍摄对象物W的第二图像；校准数据存储部512，其存储将成为机器人2的动作控制的基准的机器人坐标系与成为视觉传感器4的测量处理的基准的图像坐标系相互关联起来的校准数据；第一获取部521，其基于第一图像和校准数据，来获取对象物W在机器人坐标系中的第一位置Pw；第二获取部522，其基于第一图像和第二图像，来获取对象物W在机器人坐标系中的第二位置Ps；以及判定部523，其判定第一位置Pw与第二位置Ps之差是否在规定范围内。由此，机器人系统1能够根据第一位置Pw与第二位置Ps之差来判定机器人2的动作校正的异常。
另外，机器人系统1还具备估计部524，在由判定部523判定为差在规定范围外的情况下，该估计部524基于第一位置、第二位置、与第一位置对应的机器人2的位置以及与第二位置对应的机器人2的位置，来估计机器人2的动作校正的异常原因。由此，在机器人2的动作校正存在异常的情况下，机器人系统1能够估计异常的原因。因而，机器人系统1能够基于所估计出的机器人2的动作校正的原因来适当地进行机器人2的动作校正。
另外，关于机器人系统1，在由判定部523判定为差在规定范围外的情况下，视觉传感器4在多个位置拍摄对象物W的多个图像，估计部524基于多个图像和多个位置来估计机器人2的动作校正的异常原因。由此，机器人系统1能够适当地进行机器人2的动作校正。
此外，也可以是，视觉传感器4拍摄对象物W的多个第二图像，第二获取部522基于第一图像和多个第二图像来获取对象物W在机器人坐标系中的多个第二位置。
由此，机器人系统1能够使用多个第二图像和多个第二位置来判定机器人2的动作校正的异常。
另外，机器人系统1也可以还具备设定变更部，该设定变更部基于由估计部524估计出的机器人的动作校正的异常原因来变更机器人的动作校正的设定。由此，机器人系统1能够适当地进行机器人的动作校正的设定变更。
另外，在上述的实施方式中，机器人系统1使用第一图像和第二图像，但是例如也可以仅使用与第二图像相当的图像。
例如，机器人系统1也可以具备：第一获取部521，其基于校准数据和多个第二图像，来获取对象物W在机器人坐标系中的第一位置；以及第二获取部522，其基于多个第二图像，来获取对象物W在机器人坐标系中的第二位置。
另外，代替上述的实施方式，机器人系统1的判定部523也可以使用确认第一位置Pw及第二位置的三维位置之差的各个要素的方法、确认距离的方法等。即，判定部523也可以基于第一位置Pw和第二位置Ps来判定第一位置Pw与第二位置Ps之间的关系是否处于规定范围内。
另外，代替上述的实施方式，机器人系统1的判定部523也可以使用测量三个以上的位置的方差、标准偏差这样的方法。即，判定部523也可以基于第一位置和多个位置来判定第一位置与多个位置之间的关系是否处于规定范围内。
上面对本发明的实施方式进行了说明，但本发明并不限于上述的实施方式。另外，本实施方式所记载的效果只是列举了根据本发明产生的最佳的效果，本发明的效果并不限定于本实施方式所记载的效果。
附图标记说明
1：机器人系统；2：机器人；3：臂；4：视觉传感器；5：视觉传感器控制装置；6：机器人控制装置；61：动作控制部；511：模型图案存储部；512：校准数据存储部；521：第一获取部；522：第二获取部；523：判定部；524：估计部；525：校准部；526：通知部。
Claims (11)
1.一种机器人系统，具备：
视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；
校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；
第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；
第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及
判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。
2.根据权利要求1所述的机器人系统，其中，
还具备估计部，在由所述判定部判定为所述差在所述规定范围外的情况下，所述估计部基于所述第一位置、所述第二位置、与所述第一位置对应的所述机器人的位置以及与所述第二位置对应的所述机器人的位置，来估计所述机器人的动作校正的异常原因。
3.根据权利要求2所述的机器人系统，其中，
在由所述判定部判定为所述差在所述规定范围外的情况下，所述视觉传感器在多个位置拍摄所述对象物的多个图像，
所述估计部基于所述多个图像和所述多个位置，来估计所述机器人的动作校正的所述异常原因。
4.根据权利要求2所述的机器人系统，其中，
还具备通知部，在由所述判定部判定为所述差在所述规定范围外的情况下，所述通知部通知所述机器人的动作校正存在异常这一情况。
5.根据权利要求4所述的机器人系统，其中，
所述通知部通知由所述估计部估计出的所述异常原因。
6.根据权利要求1至5中的任一项所述的机器人系统，其中，
所述视觉传感器拍摄所述对象物的多个所述第二图像，
所述第二获取部基于所述第一图像和多个所述第二图像，来获取所述对象物在机器人坐标系中的多个所述第二位置。
7.根据权利要求2或3所述的机器人系统，其中，
还具备设定变更部，所述设定变更部基于由所述估计部估计出的所述机器人的动作校正的异常原因，来变更所述机器人的动作校正的设定。
8.一种机器人系统，具备：
视觉传感器，其在使机器人移动规定距离所到达的多个位置分别拍摄对象物的多个图像；
校准数据存储部，其存储将成为所述机器人的动作控制的基准的机器人坐标系与成为所述视觉传感器的测量处理的基准的图像坐标系相互关联起来的校准数据；
第一获取部，其基于所述多个图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；
第二获取部，其基于所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及
判定部，其判定所述第一位置与所述第二位置之差是否在规定范围内。
9.一种机器人控制方法，包括以下步骤：
对机器人的动作校正进行设定；
在所述机器人的第一位置拍摄对象物的第一图像；
在使所述机器人从所述第一位置移动规定距离所到达的第二位置拍摄所述对象物的第二图像；
基于所述第一图像和校准数据，来获取所述对象物在机器人坐标系中的第一位置；
基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；
判定所述第一位置与所述第二位置之差是否在规定范围内；
在判定为所述差在所述规定范围外的情况下，基于所述第一位置、所述第二位置、与所述第一位置对应的所述机器人的位置以及与所述第二位置对应的所述机器人的位置，来估计所述机器人的动作校正的异常原因；以及
基于所估计出的所述机器人的动作校正的异常原因，来变更所述机器人的动作校正的设定。
10.一种机器人系统，具备：
视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置移动规定距离所到达的位置拍摄所述对象物的第二图像；
校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；
第一获取部，其基于所述第一图像和所述校准数据，来获取所述对象物在机器人坐标系中的第一位置；
第二获取部，其基于所述第一图像和所述第二图像，来获取所述对象物在机器人坐标系中的第二位置；以及
判定部，其基于所述第一位置和所述第二位置，来判定所述第一位置与所述第二位置之间的关系是否处于规定范围内。
11.一种机器人系统，具备：
视觉传感器，其在机器人的规定位置拍摄对象物的第一图像，在使所述机器人从所述规定位置进行移动所到达的多个位置拍摄所述对象物的多个图像；
校准数据存储部，其存储将所述机器人的机器人坐标系与所述视觉传感器的图像坐标系相互关联起来的校准数据；
第一获取部，其基于所述校准数据和所述对象物的第一图像，来获取所述对象物在机器人坐标系中的第一位置；
第二获取部，其基于所述第一图像和所述多个图像，来获取所述对象物在机器人坐标系中的第二位置；以及
判定部，其基于所述第一位置和所述多个位置，来判定所述第一位置与所述多个位置之间的关系是否处于规定范围内。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-003862 | 2020-01-14 | ||
| JP2020003862 | 2020-01-14 | ||
| PCT/JP2021/000486 WO2021145280A1 (ja) | 2020-01-14 | 2021-01-08 | ロボットシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114945450A true CN114945450A (zh) | 2022-08-26 |
Family
ID=76864418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180008788.9A Pending CN114945450A (zh) | 2020-01-14 | 2021-01-08 | 机器人系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230032421A1 (zh) |
| JP (1) | JP7414850B2 (zh) |
| CN (1) | CN114945450A (zh) |
| DE (1) | DE112021000229T5 (zh) |
| WO (1) | WO2021145280A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023157067A1 (ja) * | 2022-02-15 | 2023-08-24 | ファナック株式会社 | ロボットシステムおよびキャリブレーション方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
| JP2011230249A (ja) * | 2010-04-28 | 2011-11-17 | Daihen Corp | 視覚センサを有するマニピュレータのセンサキャリブレーション方法及びロボット制御システム |
| CN104842352A (zh) * | 2014-02-13 | 2015-08-19 | 发那科株式会社 | 利用了视觉反馈的机器人系统 |
| CN107053167A (zh) * | 2015-12-01 | 2017-08-18 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
| CN109382821A (zh) * | 2017-08-09 | 2019-02-26 | 欧姆龙株式会社 | 校准方法、校准系统及程序 |
| CN109489558A (zh) * | 2017-09-11 | 2019-03-19 | 发那科株式会社 | 距离测量系统和距离测量方法 |
| JP2019063954A (ja) * | 2017-10-03 | 2019-04-25 | 株式会社ダイヘン | ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム |
| CN109816717A (zh) * | 2017-11-20 | 2019-05-28 | 天津工业大学 | 动态场景中轮式移动机器人的视觉镇定控制 |
| CN110114191A (zh) * | 2017-03-09 | 2019-08-09 | 三菱电机株式会社 | 机器人控制装置以及校准方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2690603B2 (ja) | 1990-05-30 | 1997-12-10 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
| JP4220920B2 (ja) * | 2004-03-08 | 2009-02-04 | ファナック株式会社 | 視覚センサ |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP5496008B2 (ja) * | 2010-08-06 | 2014-05-21 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| JP5670416B2 (ja) * | 2012-12-28 | 2015-02-18 | ファナック株式会社 | ロボットシステム表示装置 |
| JP6392908B2 (ja) * | 2017-01-12 | 2018-09-19 | ファナック株式会社 | 視覚センサの異常原因推定システム |
| JP6871220B2 (ja) * | 2018-11-08 | 2021-05-12 | ファナック株式会社 | 制御システム |
-
2021
- 2021-01-08 US US17/758,120 patent/US20230032421A1/en active Pending
- 2021-01-08 DE DE112021000229.5T patent/DE112021000229T5/de active Pending
- 2021-01-08 JP JP2021571171A patent/JP7414850B2/ja active Active
- 2021-01-08 CN CN202180008788.9A patent/CN114945450A/zh active Pending
- 2021-01-08 WO PCT/JP2021/000486 patent/WO2021145280A1/ja active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1727839A (zh) * | 2004-07-28 | 2006-02-01 | 发那科株式会社 | 机器人系统中再校准三维视觉传感器的方法和设备 |
| JP2011230249A (ja) * | 2010-04-28 | 2011-11-17 | Daihen Corp | 視覚センサを有するマニピュレータのセンサキャリブレーション方法及びロボット制御システム |
| CN104842352A (zh) * | 2014-02-13 | 2015-08-19 | 发那科株式会社 | 利用了视觉反馈的机器人系统 |
| CN107053167A (zh) * | 2015-12-01 | 2017-08-18 | 精工爱普生株式会社 | 控制装置、机器人以及机器人系统 |
| CN110114191A (zh) * | 2017-03-09 | 2019-08-09 | 三菱电机株式会社 | 机器人控制装置以及校准方法 |
| CN109382821A (zh) * | 2017-08-09 | 2019-02-26 | 欧姆龙株式会社 | 校准方法、校准系统及程序 |
| CN109489558A (zh) * | 2017-09-11 | 2019-03-19 | 发那科株式会社 | 距离测量系统和距离测量方法 |
| JP2019063954A (ja) * | 2017-10-03 | 2019-04-25 | 株式会社ダイヘン | ロボットシステム、キャリブレーション方法及びキャリブレーションプログラム |
| CN109816717A (zh) * | 2017-11-20 | 2019-05-28 | 天津工业大学 | 动态场景中轮式移动机器人的视觉镇定控制 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021145280A1 (zh) | 2021-07-22 |
| US20230032421A1 (en) | 2023-02-02 |
| DE112021000229T5 (de) | 2022-09-15 |
| WO2021145280A1 (ja) | 2021-07-22 |
| JP7414850B2 (ja) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108297096B (zh) | 校准装置、校准方法以及计算机能够读取的介质 | |
| US9672630B2 (en) | Contour line measurement apparatus and robot system | |
| JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
| EP2416113B1 (en) | Position and orientation measurement apparatus and position and orientation measurement method | |
| JP5602392B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2013515959A (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| CN111152243B (zh) | 控制系统 | |
| JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
| CN114174006A (zh) | 机器人手眼标定方法、装置、计算设备、介质以及产品 | |
| US20200098118A1 (en) | Image processing apparatus and image processing method | |
| US10909720B2 (en) | Control device for robot, robot, robot system, and method of confirming abnormality of robot | |
| JP2006224291A (ja) | ロボットシステム | |
| CN114945450A (zh) | 机器人系统 | |
| JP6565367B2 (ja) | 位置補正システム | |
| CN113165188A (zh) | 对位装置 | |
| CN111522299B (zh) | 机械控制装置 | |
| CN114902281A (zh) | 图像处理系统 | |
| JP6578671B2 (ja) | ロボット、ロボットの制御方法、及びロボットの制御装置 | |
| JP2010214546A (ja) | 組立装置および組立方法 | |
| WO2022124232A1 (ja) | 画像処理システム及び画像処理方法 | |
| US11698434B2 (en) | Machine control device | |
| CN115397626A (zh) | 坐标系设定系统和位置姿势测量系统 | |
| US20230281857A1 (en) | Detection device and detection method | |
| US20230062780A1 (en) | Measurement system, measurement method and non-transitory storage medium | |
| US20190061152A1 (en) | Measuring method, program, measuring apparatus and method of manufacturing article |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |