CN112566758A - 机器人控制装置、机器人控制方法及机器人控制程序 - Google Patents

机器人控制装置、机器人控制方法及机器人控制程序 Download PDF

Info

Publication number
CN112566758A
CN112566758A CN202080004442.7A CN202080004442A CN112566758A CN 112566758 A CN112566758 A CN 112566758A CN 202080004442 A CN202080004442 A CN 202080004442A CN 112566758 A CN112566758 A CN 112566758A
Authority
CN
China
Prior art keywords
robot
image
target
image processing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004442.7A
Other languages
English (en)
Inventor
大西康裕
付星斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112566758A publication Critical patent/CN112566758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40427—Integrate sensing and action in planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40519—Motion, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

机器人控制装置执行：步骤301、304，使用手眼摄像机来拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继第一动作目标之后的第二动作目标的图像处理；步骤302、305，进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及步骤303，基于第一动作目标或第二动作目标来控制机器人的动作。此处，步骤305是在进行基于第一动作目标的机器人的动作时，进行用于基于第二图像来决定第二动作目标的图像处理。在基于第一动作目标的机器人60的动作结束之前，拍摄装置82拍摄第二图像。

Description

机器人控制装置、机器人控制方法及机器人控制程序
技术领域
本发明涉及一种机器人控制装置、机器人控制方法以及机器人控制程序。
背景技术
在工厂自动化的领域中，进行用于根据拍摄工件而获得的图像来计算工件相对于机器人的相对位置及姿势的图像处理，基于所计算结果，来计算机器人用于握持工件的机器人的目标位置及目标姿势，由此来控制机器人对工件的拾取动作。被用于此种图像拍摄的摄像机被称作机器人视觉(robot vision)，其安装方式有各种方式。例如已知有如专利文献1所记载的那样，对机器人安装机器人视觉的方式。安装于机器人的机器人视觉也被称作手眼摄像机(hand eye camera)。根据手眼摄像机，具有下述优点：由于能够通过机器人的动作来使摄像机视点自由移动，因此能够充分确定位于从设置在机器人上的固定型摄像机难以识别的位置处的工件的位置及姿势。
现有技术文献
专利文献
专利文献1：日本专利特开2011-93014号公报
发明内容
发明所要解决的问题
但是，专利文献1所记载的方式中，在用于根据拍摄工件而获得的图像来计算机器人用于握持工件的机器人的目标位置及目标姿势的图像处理结束之前，机器人的动作须停止，待图像处理完成后开始机器人对工件的拾取动作。因此，机器人的动作开始将产生与图像处理所需的时间相应的延迟，拾取动作所需的时间拖长。
因此，本发明的课题在于，解决此种问题，提出一种能够缩短机器人的动作所需的时间的机器人控制装置、机器人控制方法以及机器人控制程序。
解决问题的技术手段
为了解决所述问题，本发明的机器人控制装置包括：拍摄装置，被安装于机器人，拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人的第一动作目标之后的第二动作目标的图像处理；图像处理装置，进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及控制器，基于第一动作目标或第二动作目标，来控制机器人的动作。当进行基于第一动作目标的机器人的动作时，图像处理装置进行用于基于第二图像来决定第二动作目标的图像处理。在基于第一动作目标的机器人的动作结束之前，拍摄装置拍摄第二图像。通过像这样同时并行地进行基于第一动作目标的机器人的动作、与用于决定继第一动作目标之后的第二动作目标的图像处理，从而无须使机器人的动作开始延迟图像处理所需的时间，而能够缩短机器人的动作所需的时间。
第一图像例如也可为第一物体的图像。第二图像例如也可为与第一物体不同的第二物体的图像。第一动作目标例如也可为机器人用于操作第一物体的机器人的目标位置及目标姿势。第二动作目标例如也可为机器人用于操作第二物体的机器人的目标位置及目标姿势。由此，能够缩短机器人操作各第一物体及第二物体所需的时间。
本发明的机器人控制方法由机器人控制装置执行下述步骤：使用被安装于机器人的拍摄装置，拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人的第一动作目标之后的第二动作目标的图像处理；进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及基于第一动作目标或第二动作目标，来控制机器人的动作。进行图像处理的步骤包含：当进行基于第一动作目标的机器人的动作时，进行用于基于第二图像来决定第二动作目标的图像处理。在基于第一动作目标的机器人的动作结束之前，拍摄装置拍摄第二图像。通过像这样同时并行地进行基于第一动作目标的机器人的动作、与用于决定继第一动作目标之后的第二动作目标的图像处理，从而无须使机器人的动作开始延迟图像处理所需的时间，而能够缩短机器人的动作所需的时间。
本发明的机器人控制程序使计算机系统执行下述步骤：指示被安装于机器人的拍摄装置拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人的所述第一动作目标之后的第二动作目标的图像处理；指示图像处理装置进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及指示控制器基于第一动作目标或第二动作目标来控制机器人的动作。此处，进行图像处理的步骤包含：当进行基于第一动作目标的机器人的动作时，进行用于基于第二图像来决定第二动作目标的图像处理。在基于第一动作目标的机器人的动作结束之前，拍摄装置拍摄第二图像。通过像这样同时并行地进行基于第一动作目标的机器人的动作、与用于决定继第一动作目标之后的第二动作目标的图像处理，从而无须使机器人的动作开始延迟图像处理所需的时间，而能够缩短机器人的动作所需的时间。
发明的效果
根据本发明，能够缩短机器人的动作所需的时间。
附图说明
图1是表示本实施方式的机器人控制装置的结构的说明图。
图2是表示本实施方式的机器人的动作的说明图。
图3是表示本实施方式的机器人控制方法的处理流程的一例的流程图。
图4是表示本实施方式的机器人控制装置的硬件结构的一例的说明图。
图5是表示本实施方式的机器人控制方法的处理流程的一例的流程图。
图6是表示本实施方式的机器人控制方法的处理流程的一例的时间图。
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式。本发明的实施方式是为了便于理解本发明，而非用于限定地解释本发明。本发明可不脱离其主旨而进行变更或改良，并且在本发明中也包含其等价物。另外，同一符号表示同一构成元件，省略重复的说明。
[适用例]
首先，一边参照图1至图3，一边说明本发明的适用例。
图1是表示本实施方式的机器人控制装置100的结构的说明图。机器人控制装置100包括计算机系统10、被安装在机器人60的手腕的手眼摄像机80、以及对机器人60的动作进行控制的控制器70，以作为其硬件资源。机器人60包括用于对物体90(例如结构件或零件等工件)进行操作(例如握持、吸附、移动、装配或插入等)的机械手62。机器人控制装置100通过使用手眼摄像机80而拍摄的图像的图像处理，来决定机器人60的动作目标。被用于用来决定机器人60的动作目标的图像处理的图像例如既可为由机器人60所操作的物体90的图像，或者也可为机器人60的动作环境91(例如由机器人60所操作的物体90的放置处)的图像。
物体90的图像既可为二维图像，或者也可为三维图像。三维图像是指具有手眼摄像机80与物体90之间的距离信息(纵深信息)的图像。二维图像不具有此种纵深信息。作为三维图像的示例，例如可列举以被称作高度映射的形式来提供与物体90的三维形状相关的信息的三维点阵。手眼摄像机80构成为拍摄二维或三维图像。构成为拍摄三维图像的手眼摄像机例如包含：(i)影像传感器，构成为，一边改变拍摄二维图像的影像传感器的拍摄位置一边拍摄多个二维图像，并通过立体视觉的图像处理来获得包含纵深信息的三维图像；(ii)立体摄像机，构成为，通过从多个不同的方向同时拍摄物体而获得包含纵深信息的三维图像；以及(iii)距离传感器，构成为，获得三维点阵。作为距离传感器的方式，例如可使用三角法方式、飞行时间(time of flight)方式或相位差方式等。
机器人控制装置100例如也可进行图像处理，并基于其计算结果来计算机器人60的动作目标，所述图像处理用于根据以手眼摄像机80为视点的物体90的图像的视觉性来计算物体90相对于机器人60的相对位置及姿势。机器人60的动作目标例如是为了机器人60操作物体所要求的、机器人60的目标位置及目标姿势。作为此种图像处理，例如可使用被称作基于模型的匹配(model based matching)的算法。在机器人60拾取物体90并放置(place)到规定位置的操作(以下称作“拾放(pick and place)”)中，机器人60的动作目标是为了机器人60拾放物体90所要求的、机器人60的目标位置及目标姿势。在被用于用来决定机器人60的动作目标的图像处理的图像中映照有多个物体90的情况下，用于决定机器人60的动作目标的图像处理也可包含决定从多个90的物体中选择哪个物体90的计算处理。另外，作为手眼摄像机80，使用构成为拍摄物体90的二维图像的摄像机，在拾放物体90时，需要物体90的形状为已知，且物体90彼此配置成不重叠。
机器人控制装置100例如也可进行用于根据机器人60的动作环境91的图像来计算物体90的放置场所的图像处理，并基于其计算结果来计算机器人60的动作目标。本例中，机器人60的动作目标是为了机器人60将物体90放置到放置场所而要求的、机器人60的目标位置及目标姿势。
另外，图1中，符号201表示将机器人60作为基准的坐标系，符号202表示将机械手62作为基准的坐标系，符号203表示将手眼摄像机80作为基准的坐标系。根据以手眼摄像机80为视点的物体90的图像的视觉性，能够通过计算来求出物体90相对于手眼摄像机80的相对位置及姿势(坐标系203中的物体90的位置及姿势)。由于坐标系203与坐标系202的关系为已知，因此能够使用转换矩阵来将坐标系203中的物体90的位置及姿势转换成坐标系202上的物体90的位置及姿势。在机器人60，装入有输出表示各关节的角度的检测信息的编码器，基于从编码器输出的检测信息所表示的各关节的角度，能够将坐标系202上的物体90的位置及姿势转换成坐标系201上的物体90的位置及姿势。
机器人60的目标姿势(各关节的关节角)的候选是通过反向运动学来决定。若机器人60的目标姿势的候选存在多个，则也可基于评价函数的评价值来选择任一候选。作为此种评价函数，例如也可使用输出根据机器人60的移动路径的长度而变化的评价值的评价函数。
图2是表示本实施方式的机器人60的动作的说明图。图3是表示本实施方式的机器人控制方法的处理流程的一例的流程图。本例中，对下述情况进行说明，即，机器人60对多个不同的物体90中的任一个物体90(以下称作“第一物体90A”)进行拾放，继而，对任一个物体90(以下称作“第二物体90B”)进行拾放。将为了为了机器人60拾放第一物体90A所要求的机器人60的目标位置及目标姿势称作“第一动作目标”。将为了为了机器人60拾取第二物体90B所要求的机器人60的目标位置及目标姿势称作“第二动作目标”。将被用于用来决定第一动作目标的图像处理的第一物体90A的图像称作“第一图像”。将被用于用来决定第二动作目标的图像处理的第二物体90B的图像称作“第二图像”。
步骤301中，机器人控制装置100拍摄第一物体90A的第一图像，所述第一物体90A的第一图像被用于用来决定机器人60的第一动作目标的图像处理。
步骤302中，机器人控制装置100进行用于决定第一动作目标的图像处理。所述步骤中，机器人控制装置100根据第一物体90A的第一图像的视觉性，通过所述坐标转换来计算第一物体90A相对于机器人60的相对位置及姿势，并计算为了机器人60拾放第一物体90A所要求的、机器人60的第一动作目标(第一目标位置及第一目标姿势)。
步骤303中，机器人控制装置100基于第一动作目标来控制机器人60的动作。所述步骤中，机器人控制装置100将用于对驱动机器人60的各关节的马达的旋转角进行控制的驱动指令输出至机器人60，以使机器人60的当前的位置及姿势分别与第一目标位置及第一目标姿势一致。
步骤304中，机器人控制装置100拍摄第二图像，所述第二图像被用于用来决定机器人60的第二动作目标的图像处理。所述步骤中，在基于第一动作目标的机器人60的动作(步骤303)结束之前，机器人控制装置100只要控制机器人60的位置及姿势，以使得能够由手眼摄像机80来拍摄第二物体90B，并使手眼摄像机80朝向第二物体90B拍摄第二图像即可。例如，机器人控制装置100也可在正进行基于第一动作目标的机器人60的动作(步骤303)的过程中拍摄第二图像。或者，机器人控制装置100也可在进行基于第一动作目标的机器人60的动作(步骤303)之前拍摄第二图像。
步骤305中，机器人控制装置100进行用于决定第二动作目标的图像处理。所述步骤中，机器人控制装置100根据第二物体90B的第二图像的视觉性，通过所述坐标转换来计算第二物体90B相对于机器人60的相对位置及姿势，并计算为了机器人60操作第二物体90B所要求的、机器人60的第二动作目标(第二目标位置及第二目标姿势)。
步骤306中，机器人控制装置100判定是否不进行基于第二动作目标的动作而结束作业。所述步骤中，机器人控制装置100例如也可将是否从主程序或操作者输入了使机器人60的动作继续的指令作为基准，来判定机器人60的动作继续的要否。
步骤306中，若判定为进行基于第二动作目标的动作(步骤306；否)，则机器人控制装置100在步骤303中，基于第二动作目标来控制机器人60的动作。所述步骤中，机器人控制装置100将用于对驱动机器人60的各关节的马达的旋转角进行控制的驱动指令输出至机器人，以使机器人60的当前的位置及姿势分别与第二目标位置及第二目标姿势一致。
根据本实施方式，机器人控制装置100同时并行地进行基于第一动作目标来控制机器人60的动作的步骤303、与进行用于决定继第一动作目标之后的第二动作目标的图像处理的步骤305，由此，无须使机器人60的动作开始延迟图像处理所需的时间，能够缩短机器人60的动作所需的时间。
另外，在步骤303中的基于第二动作目标的机器人60的动作结束之前，机器人控制装置100拍摄被用于用来决定继第二动作目标之后的动作目标的图像处理的图像(步骤304)。接下来，机器人控制装置100同时并行地进行基于第二动作目标来控制机器人60的动作的步骤303、与进行用于决定继第二动作目标之后的动作目标的图像处理的步骤305。以后，只要机器人60的动作继续，机器人控制装置100便反复进行步骤303～305的处理。
所述的说明中，以机器人60操作多个不同的物体90的情况为例，对通过物体90的拍摄图像的图像处理来决定机器人60的动作目标的处理进行了说明，但机器人控制装置100例如也可进行用于根据机器人60的动作环境91的图像来计算物体90的放置场所的图像处理，并基于其计算结果来计算机器人60的动作目标。作为用于计算物体90的放置场所的图像处理的示例，可列举用于使多个物体90排列配置的图像处理、或用于将物体90放置到预先规定的特定场所的图像处理等。
[硬件结构]
接下来，一边参照图4，一边对本实施方式的机器人控制装置100的硬件结构的一例进行说明。
机器人控制装置100包括计算机系统10、被安装在机器人60的手腕的手眼摄像机80、及对机器人60的动作进行控制的控制器70，以作为其硬件资源。手眼摄像机80包括拍摄装置81与图像处理装置82。拍摄装置81拍摄被用于用来决定机器人60的动作目标的图像处理的图像(例如二维图像或三维点阵)。拍摄装置81既可为拍摄二维图像的影像传感器，或者也可为拍摄三维点阵的距离传感器。图像处理装置82包括被设计用于图像处理的现场可编程门阵列(Field Programmable Gate Array，FPGA)。控制器70是响应来自计算机系统10的指示(表示机器人60的动作目标的指示)而将驱动机器人60的各关节的信号输出至机器人60的机器人控制器。
机器人60例如是垂直多关节机器人、水平多关节机器人、正交机器人或水平链接机器人等各种机器人。机器人60作为自主运行的操纵器而运行，例如可用于工件的拾取、装配、搬送、涂装、检查、研磨或清洗等各种用途。在机器人60中，装入有输出表示各关节的角度的检测信息的编码器61。
计算机系统10包括运算装置20、存储装置30、输入/输出接口(Interface,I/F)40及显示装置50。运算装置20包括中央处理器(Central Processing Unit，CPU)21、只读存储器(Read Only Memory，ROM)22及随机存取存储器(Random Access Memory，RAM)23。存储装置30为盘介质(例如磁记录介质或光磁记录介质)或半导体存储器(例如易失性存储器或非易失性存储器)等计算机可读取的记录介质。此种记录介质例如也可称作非一次性记录介质。存储装置30保存有用于控制机器人60的动作的机器人控制程序31。所述机器人控制程序31作为控制机器人60的动作的主程序发挥功能，对机器人控制装置100的各部(拍摄装置81、图像处理装置82、控制器70及机器人60)进行控制。机器人控制程序31从存储装置30被读取到RAM23中，由CPU21进行解释及执行。
输入/输出接口40从手眼摄像机80输入通过图像处理装置82进行了图像处理的结果信息、即表示机器人60的动作目标的信息，并且输入表示机器人60的当前的位置及姿势的信息、即来自编码器61的检测信息。CPU21基于从手眼摄像机80及编码器61输出的这些信息，依据机器人控制程序31而生成机器人60的动作指示(表示机器人60的动作目标的指示)，并将所述动作指示通过输入/输出接口40而输出至控制器70。
显示装置50例如显示通过图像处理装置82进行了图像处理的结果或机器人60的作业结果等。显示装置例如为液晶显示器。
[机器人控制方法]
接下来，一边参照图5的流程图，一边说明用于使机器人60执行下述动作的处理流程的一例，即，从散放的多个物体90中选择任一个物体90并将其拾取，随后放置到规定的位置。
基于第一动作目标的机器人60的动作被分为拾取第一物体90A的动作(步骤503)与放置所拾取的第一物体90A的动作(步骤505)。因此，图5的步骤503、505的处理相当于图3的步骤303的处理。图5的步骤501、502、504、506、507的处理分别相当于图3的步骤301、302、304、305、306的处理。
根据本例，机器人控制装置100同时并行地进行放置所拾取的第一物体90A的动作(步骤505)、与用于决定用来对第二物体90B进行拾放处理的机器人60的动作目标的图像处理(步骤506)，由此，无须使机器人60的动作开始延迟图像处理所需的时间，能够缩短机器人60的动作所需的时间。
另外，机器人控制装置100只要在放置所拾取的第一物体90A的动作(步骤505)结束之前拍摄第二图像即可(步骤504)。图5所示的流程图中，机器人控制装置100是在放置所拾取的第一物体90A的动作(步骤505)之前拍摄第二图像，但也可一边放置所拾取的第一物体90A，一边同时拍摄第二图像。机器人控制装置100也可控制机器人60的位置及姿势，以使得能够在放置所拾取的第一物体90A之前由手眼摄像机80来拍摄第二物体90B、或者能够一边放置一边由手眼摄像机80来拍摄第二物体90B，并使手眼摄像机80朝向第二物体90B拍摄第二图像。
图6表示图5的拾放处理的时间图的一例。
步骤601中，机器人控制程序31指示拍摄装置81进行第一图像的拍摄，所述第一图像被用于用来决定机器人60的第一动作目标的图像处理。
步骤602中，拍摄装置81拍摄第一图像。
图6的步骤601、602的处理相当于图5的步骤501的处理。
步骤603中，机器人控制程序31指示图像处理装置82基于第一图像来进行用于决定第一动作目标的图像处理。
步骤604中，图像处理装置82进行用于决定第一动作目标的图像处理。
图6的步骤603、604的处理相当于图5的步骤502的处理。
步骤605中，机器人控制程序31指示控制器70拾取第一物体。
步骤606中，控制器70将指令拾取第一物体的信号输出至机器人60。
步骤607中，机器人60拾取第一物体。
步骤608中，控制器70将第一物体的拾取已结束的情况通知给机器人控制程序31。
图6的步骤605、606、607、608的处理相当于图5的步骤503的处理。
步骤609中，机器人控制程序31指示拍摄装置81拍摄第二图像，所述第二图像被用于用来决定机器人60的第二动作目标的图像处理。
步骤610中，拍摄装置81拍摄第二图像。
图6的步骤609、610的处理相当于图5的步骤504的处理。
步骤611中，机器人控制程序31指示控制器70放置第一物体90A。
步骤612中，控制器70将指令放置第一物体90A的信号输出至机器人60。
步骤613中，机器人60放置第一物体90A。
步骤614中，控制器70将第一物体90A的放置已结束的情况通知给机器人控制程序31。
图6的步骤611、612、613、614的处理相当于图5的步骤505的处理。
步骤615中，机器人控制程序31指示图像处理装置82基于第二图像来进行用于决定第二动作目标的图像处理。
步骤616中，图像处理装置82进行用于决定第二动作目标的图像处理。
图6的步骤615、616的处理相当于图5的步骤506的处理。
另外，在机器人60的动作为拾放以外的动作(例如握持、吸附、移动、装配或插入等)的情况下，机器人控制程序31、拍摄装置81、图像处理装置82、控制器70及机器人60之间的通信的时间图例如也与图6的时间图同样。
计算机系统10也可具备图像处理装置82的功能。而且，通过机器人控制程序31而实现的功能的全部或一部分也可使用专用的硬件资源(例如专用集成电路或现场可编程门阵列等)来实现。
而且，被用于用来决定机器人60的动作目标的图像处理的图像的拍摄也可一边使手眼摄像机80停止或移动一边进行。而且，被用于用来决定机器人60的一个动作目标的图像处理的图像的数量并不限于一个，也可为两个以上。
而且，机器人60并不限于被用于工厂自动化的工业机器人的臂，例如也可为被用于服务业的机器人(例如操作机器人、医疗用机器人、清扫机器人、救援机器人、安保机器人等)的臂。
所述实施方式的一部分或全部可如以下的附注那样记载，但并不限定于以下。
(附注1)
一种机器人控制装置100，包括：
拍摄装置81，被安装于机器人60，拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人60的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人60的第一动作目标之后的第二动作目标的图像处理；
图像处理装置82，进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及
控制器70，基于第一动作目标或第二动作目标，来控制机器人60的动作，
当进行基于第一动作目标的机器人60的动作时，图像处理装置82进行用于基于第二图像来决定第二动作目标的图像处理，
在基于第一动作目标的机器人60的动作结束之前，拍摄装置82拍摄第二图像。
(附注2)
根据附注1所述的机器人控制装置100，其中
第一图像是第一物体的图像，
第二图像是与第一物体不同的第二物体的图像，
第一动作目标是机器人60用于操作第一物体的机器人60的目标位置及目标姿势，
第二动作目标是机器人60用于操作第二物体的机器人60的目标位置及目标姿势。
(附注3)
一种机器人控制方法，由机器人控制装置100执行：
步骤101、104，使用被安装于机器人60的拍摄装置81，拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人60的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人60的第一动作目标之后的第二动作目标的图像处理；
步骤102、105，进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及
步骤103，基于一动作目标或第二动作目标，来控制机器人60的动作，
进行图像处理的步骤105包含：当进行基于第一动作目标的机器人60的动作时，进行用于基于第二图像来决定第二动作目标的图像处理，
在基于第一动作目标的机器人60的动作结束之前，拍摄装置82拍摄第二图像。
(附注4)
一种机器人控制程序31，使计算机系统执行：
步骤401、409，指示被安装于机器人60的拍摄装置81拍摄第一图像与第二图像，所述第一图像被用于用来决定机器人60的第一动作目标的图像处理，所述第二图像被用于用来决定继机器人60的第一动作目标之后的第二动作目标的图像处理；
步骤403、415，指示图像处理装置82进行图像处理，所述图像处理用于基于第一图像及第二图像来分别决定第一动作目标及第二动作目标；以及
步骤405、411，指示控制器基于一动作目标或第二动作目标来控制机器人60的动作，其中
进行图像处理的步骤416包含：当进行基于第一动作目标的机器人60的动作时，进行用于基于第二图像来决定第二动作目标的图像处理，
在基于第一动作目标的机器人60的动作结束之前，拍摄装置82拍摄第二图像。
符号的说明
10：计算机系统
20：运算装置
21：CPU
22：ROM
23：RAM
30：存储装置
31：机器人控制程序
40：输入/输出接口
50：显示装置
60：机器人
61：编码器
70：控制器
80：手眼摄像机
81：拍摄装置
82：图像处理装置
100：机器人控制装置

Claims (4)

1.一种机器人控制装置，包括：
拍摄装置，被安装于机器人，拍摄第一图像与第二图像，所述第一图像被用于用来决定所述机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继所述机器人的所述第一动作目标之后的第二动作目标的图像处理；
图像处理装置，进行图像处理，所述图像处理用于基于所述第一图像及所述第二图像来分别决定所述第一动作目标及所述第二动作目标；以及
控制器，基于所述一动作目标或所述第二动作目标，来控制所述机器人的动作，
当进行基于所述第一动作目标的所述机器人的动作时，所述图像处理装置进行用于基于所述第二图像来决定所述第二动作目标的图像处理，
在基于所述第一动作目标的所述机器人的动作结束之前，所述拍摄装置拍摄所述第二图像。
2.根据权利要求1所述的机器人控制装置，其中
所述第一图像是第一物体的图像，
所述第二图像是与所述第一物体不同的第二物体的图像，
所述第一动作目标是所述机器人用于操作所述第一物体的所述机器人的目标位置及目标姿势，
所述第二动作目标是所述机器人用于操作所述第二物体的所述机器人的目标位置及目标姿势。
3.一种机器人控制方法，由机器人控制装置执行下述步骤：
使用被安装于机器人的拍摄装置，拍摄第一图像与第二图像，所述第一图像被用于用来决定所述机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继所述机器人的所述第一动作目标之后的第二动作目标的图像处理；
进行图像处理，所述图像处理用于基于所述第一图像及所述第二图像来分别决定所述第一动作目标及所述第二动作目标；以及
基于所述一动作目标或所述第二动作目标，来控制所述机器人的动作，
进行所述图像处理的步骤包含：当进行基于所述第一动作目标的所述机器人的动作时，进行用于基于所述第二图像来决定所述第二动作目标的图像处理，
在基于所述第一动作目标的所述机器人的动作结束之前，所述拍摄装置拍摄所述第二图像。
4.一种机器人控制程序，使计算机系统执行下述步骤：
指示被安装于机器人的拍摄装置拍摄第一图像与第二图像，所述第一图像被用于用来决定所述机器人的第一动作目标的图像处理，所述第二图像被用于用来决定继所述机器人的所述第一动作目标之后的第二动作目标的图像处理；
指示图像处理装置进行图像处理，所述图像处理用于基于所述第一图像及所述第二图像来分别决定所述第一动作目标及所述第二动作目标；以及
指示控制器基于所述一动作目标或所述第二动作目标来控制所述机器人的动作，其中
进行所述图像处理的步骤包含：当进行基于所述第一动作目标的所述机器人的动作时，进行用于基于所述第二图像来决定所述第二动作目标的图像处理，
在基于所述第一动作目标的所述机器人的动作结束之前，所述拍摄装置拍摄所述第二图像。
CN202080004442.7A 2019-03-06 2020-02-17 机器人控制装置、机器人控制方法及机器人控制程序 Pending CN112566758A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-040611 2019-03-06
JP2019040611A JP2020142323A (ja) 2019-03-06 2019-03-06 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
PCT/JP2020/005943 WO2020179416A1 (ja) 2019-03-06 2020-02-17 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム

Publications (1)

Publication Number Publication Date
CN112566758A true CN112566758A (zh) 2021-03-26

Family

ID=72337199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004442.7A Pending CN112566758A (zh) 2019-03-06 2020-02-17 机器人控制装置、机器人控制方法及机器人控制程序

Country Status (5)

Country Link
US (1) US20210197391A1 (zh)
EP (1) EP3936286A4 (zh)
JP (1) JP2020142323A (zh)
CN (1) CN112566758A (zh)
WO (1) WO2020179416A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6761194B2 (ja) * 2019-01-30 2020-09-23 株式会社安川電機 ロボットシステム、ロボット制御方法、ロボットコントローラ及びプログラム
JP7494943B2 (ja) 2021-01-27 2024-06-04 日本電気株式会社 制御装置、制御方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211381A (ja) * 2002-01-16 2003-07-29 Denso Wave Inc ロボット制御装置
JP2014226739A (ja) * 2013-05-20 2014-12-08 三菱電機株式会社 部品払出装置および部品払出方法
US20160253562A1 (en) * 2015-02-27 2016-09-01 Canon Kabushiki Kaisha Information processing apparatus, processing system, object moving system, and object moving method
CN106560297A (zh) * 2015-10-05 2017-04-12 发那科株式会社 具备拍摄目标标记的照相机的机器人系统
CN108081268A (zh) * 2013-10-10 2018-05-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
CN108621156A (zh) * 2013-10-10 2018-10-09 精工爱普生株式会社 机器人控制装置、机器人系统、机器人以及机器人控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
JP2011093014A (ja) 2009-10-27 2011-05-12 Ihi Corp ハンドアイ式ビンピッキングロボットの制御装置
JP2018161700A (ja) * 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、システム、情報処理方法、製造方法
EP3695941B1 (en) * 2019-02-15 2022-04-13 Siemens Aktiengesellschaft Computerized system and method using different image views to find grasp locations and trajectories for robotic pick up

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003211381A (ja) * 2002-01-16 2003-07-29 Denso Wave Inc ロボット制御装置
JP2014226739A (ja) * 2013-05-20 2014-12-08 三菱電機株式会社 部品払出装置および部品払出方法
CN108081268A (zh) * 2013-10-10 2018-05-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
CN108621156A (zh) * 2013-10-10 2018-10-09 精工爱普生株式会社 机器人控制装置、机器人系统、机器人以及机器人控制方法
US20160253562A1 (en) * 2015-02-27 2016-09-01 Canon Kabushiki Kaisha Information processing apparatus, processing system, object moving system, and object moving method
CN106560297A (zh) * 2015-10-05 2017-04-12 发那科株式会社 具备拍摄目标标记的照相机的机器人系统

Also Published As

Publication number Publication date
JP2020142323A (ja) 2020-09-10
WO2020179416A1 (ja) 2020-09-10
EP3936286A1 (en) 2022-01-12
US20210197391A1 (en) 2021-07-01
EP3936286A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6180086B2 (ja) 情報処理装置及び情報処理方法
CN109940662B (zh) 具备拍摄工件的视觉传感器的摄像装置
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP6188440B2 (ja) ロボット装置及びロボット制御方法
JP5582126B2 (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
CN109791908B (zh) 机器人、机器人的控制装置及机器人的位置教示方法
US20150209963A1 (en) Robot programming apparatus for creating robot program for capturing image of workpiece
CN110587592B (zh) 机器人控制装置、机器人控制方法及计算机可读记录介质
JP6741538B2 (ja) ロボット、ロボットの制御装置、及び、ロボットの位置教示方法
CN112276936A (zh) 三维数据生成装置以及机器人控制系统
WO2021039775A1 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
CN112566758A (zh) 机器人控制装置、机器人控制方法及机器人控制程序
JP2008168372A (ja) ロボット装置及び形状認識方法
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
US12098911B2 (en) Measurement device, measurement method, and computer-readable storage medium storing a measurement program
JP2007171018A (ja) 物体位置認識方法及び物体位置認識装置
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
CN111522295B (zh) 机械控制装置
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
CN117377558A (zh) 自动拾取和放置系统
JP2012022600A (ja) マスク画像作成システム
JP2024068115A (ja) ロボット搭載移動装置
CN116096536A (zh) 检测机器人的构成部件的干扰的机器人装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210326

WD01 Invention patent application deemed withdrawn after publication