CN112533739A - 机器人控制装置、机器人控制方法以及机器人控制程序 - Google Patents

机器人控制装置、机器人控制方法以及机器人控制程序 Download PDF

Info

Publication number
CN112533739A
CN112533739A CN201980051517.4A CN201980051517A CN112533739A CN 112533739 A CN112533739 A CN 112533739A CN 201980051517 A CN201980051517 A CN 201980051517A CN 112533739 A CN112533739 A CN 112533739A
Authority
CN
China
Prior art keywords
robot
positional relationship
relative positional
specific type
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980051517.4A
Other languages
English (en)
Inventor
林剣之介
大川洋平
山口雄纪
柴田义也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112533739A publication Critical patent/CN112533739A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

机器人控制装置受理：从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201的输入；以及对经指定的特定种类的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202的输入。机器人控制装置从拍摄多种物体及其周边的环境而获得的图像信息501中提取特定种类的物体70而生成表示物体70的位置及姿势的信息301。机器人控制装置根据学习模块103的学习结果而生成动作指令401并输出至机器人20，所述动作指令401用于使物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致。

Description

机器人控制装置、机器人控制方法以及机器人控制程序
技术领域
本发明涉及一种机器人控制装置、机器人控制方法以及机器人控制程序。
背景技术
近年来，正广范围地进行与机器学习相关的研究。尤其，随着使用神经网络的被称作深层学习的技术的发展，已逐渐能够利用表现出与人的识别能力同等或更高的性能的学习模块。此种背景下，正进行将机器学习的算法适用于机器人的动作指令的生成的研究。例如，非专利文献1提出了一种用于机器人握持物体的机器学习。所述机器学习是以下述方式进行学习，即，使用从对作为握持对象的物体进行拍摄的摄像机获取的图像数据、及驱动机器人的马达的指令值的候选数据，来作为对学习模块输入的信息，并输出对作为握持对象的物体的握持概率最高的马达的指令值。这样，以往的机器学习中，例如使用促使机器人如操作者所期待的那样握持作为握持对象的物体的、大量图像数据来进行学习。
现有技术文献
专利文献
非专利文献1：谢尔盖·莱文等人，“利用深度学习和大规模数据采集进行机器人抓取的手眼协调学习”ISER 2016.(Sergey Levine et al.，“Learning Hand-EyeCoordination for Robotic Grasping with Deep Learning and Large-Scale DataCollection”，ISER 2016.)
发明内容
发明所要解决的问题
此种以往的机器学习中，在暂时结束了学习后，对机器人的动作进行微调时，必须使用促使机器人像操作者所期待的那样进行经微调的动作的大量图像数据来进行重新学习。例如在想要降低操作者未意图的机器人的误运转的情况、或者因操作者事后的原因而想要变更机器人的动作(例如想要变更机器人握持物体的位置)的情况等下，有时需要此种微调。因此，难以在暂时结束了学习后不进行重新学习，而通过人为调整来使机器人像操作者所期待的那样运行。
因此，本发明的课题在于，解决此种问题，提出一种能够进行调整以使机器人像操作者所期待的那样运行的机器人控制装置、机器人控制方法以及机器人控制程序。
解决问题的技术手段
为了解决所述问题，本发明的机器人控制装置包括：输入部，受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入、以及对经指定的特定种类的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；拍摄装置，拍摄多种物体及其周边的环境；提取部，从通过拍摄装置的拍摄而获得的图像信息中，提取经指定的特定种类的物体而生成表示特定种类的物体的位置及姿势的信息；检测装置，检测机器人的位置及姿势；学习模块，包含学习完毕模型或者输入/输出关系与学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体与指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人的动作的机器学习；以及输出部，根据学习模块的学习结果而生成对机器人的动作进行指示的动作指令并输出至机器人，所述机器人的动作用于使根据由提取部所生成的表示特定种类的物体的位置及姿势的信息及表示由检测装置所检测出的机器人的位置及姿势的信息而定的、物体与指尖之间的相对位置关系，与设为目标的相对位置关系一致。
这样，通过使用进行了机器人的动作的机器学习的学习模块，从而无须使学习模块重新学习便能够进行调整，以使机器人像操作者所期待的那样运行，所述机器人的动作的机器学习用于将对机器人所操作的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息作为输入，而使两者的相对位置关系与所述设为目标的相对位置关系一致。
物体与指尖之间的设为目标的相对位置关系也可跟机器人及物体各自的位置及姿势无关而为固定。由此，能够使机器人执行与固定的物理量的操作相关的动作。
物体与指尖之间的设为目标的相对位置关系也可能够通过操作者的指定来变更。由此，无须使学习模块重新学习便能够进行调整，以使机器人像操作者所期待的那样运行。
输入部也可包括图形用户接口，所述图形用户接口用于指定物体与指尖之间的设为目标的相对位置关系。操作者能够通过图形用户接口来直观地指定物体与指尖之间的设为目标的相对位置关系。
指定特定种类的物体的信息也可被输入至提取部。由此，提取部能够从通过拍摄装置的拍摄而获得的图像信息中，提取从多种物体中指定为机器人所操作的对象的、特定种类的物体。
本发明的机器人控制方法由计算机系统执行下述步骤：受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入；受理对经指定的特定种类的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；拍摄多种物体及其周边的环境；从通过拍摄而获得的图像信息中，提取经指定的特定种类的物体而生成表示特定种类的物体的位置及姿势的信息；检测机器人的位置及姿势；准备学习模块，所述学习模块包含学习完毕模型或者输入/输出关系与学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体与指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人的动作的机器学习；以及根据学习模块的学习结果而生成对机器人的动作进行指示的动作指令并输出至机器人，所述机器人的动作用于使根据表示特定种类的物体的位置及姿势的信息及表示机器人的位置及姿势的信息而定的、物体与指尖之间的相对位置关系，与设为目标的相对位置关系一致。
这样，通过使用进行了机器人的动作的机器学习的学习模块，从而无须使学习模块重新学习便能够进行调整，以使机器人像操作者所期待的那样运行，所述机器人的动作的机器学习用于将对机器人所操作的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息作为输入，而使两者的相对位置关系与所述设为目标的相对位置关系一致。
本发明的机器人控制程序使计算机系统执行下述步骤：受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入；受理对经指定的特定种类的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；拍摄多种物体及其周边的环境；从通过拍摄而获得的图像信息中，提取经指定的特定种类的物体而生成表示特定种类的物体的位置及姿势的信息；检测机器人的位置及姿势；准备学习模块，学习模块包含学习完毕模型或者输入/输出关系与学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体与指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人的动作的机器学习；以及根据学习模块的学习结果而生成对机器人的动作进行指示的动作指令并输出至机器人，所述机器人的动作用于使根据表示特定种类的物体的位置及姿势的信息及表示机器人的位置及姿势的信息而定的、物体与指尖之间的相对位置关系，与设为目标的相对位置关系一致。
这样，通过使用进行了机器人的动作的机器学习的学习模块，从而无须使学习模块重新学习便能够进行调整，以使机器人像操作者所期待的那样运行，所述机器人的动作的机器学习用于将对机器人所操作的物体与机器人的指尖之间的设为目标的相对位置关系进行指定的信息作为输入，而使两者的相对位置关系与所述设为目标的相对位置关系一致。
发明的效果
根据本发明，能够进行调整，以使机器人像操作者所期待的那样运行。
附图说明
图1是使用本实施方式的学习模块的机器人的动作控制的说明图。
图2是表示本实施方式的机器人控制装置及机器人的结构的说明图。
图3是表示本实施方式的机器人控制装置的硬件结构的一例的说明图。
图4是表示本实施方式的机器人控制装置的功能的一例的框图。
图5是表示本实施方式的图形用户接口的一例的说明图。
图6是表示本实施方式的机器人控制方法的处理流程的一例的流程图。
具体实施方式
以下，基于附图来说明本发明的一方面的实施方式。本发明的实施方式是为了便于理解本发明，而非用于限定地解释本发明。本发明可不脱离其主旨而进行变更或改良，并且在本发明中也包含其等价物。另外，同一符号表示同一构成元件，省略重复的说明。
[适用例]
首先，一边参照图1，一边说明本发明的适用例。
本实施方式使用学习模块103来控制机器人20的动作。作为机器人20的具体例，可列举垂直多关节机器人、水平多关节机器人、正交机器人或水平链接机器人等。机器人20作为自主运行的操纵器而运行，例如能够用于零件的装配、搬送、涂装、检查、研磨或清洗等的任一用途。作为机器人20的动作的示例，可列举机器人20用于对物体70进行操作(例如握持、吸附、移动或姿势控制等)的动作。作为成为机器人20所操作的对象的物体70的一例，可列举结构件或零件等工件。而且，作为机器人20的动作的一例，可列举用于从散放的多种物体中拾取(picking)特定种类的物体的握持动作。
首先，对学习模块103的学习方法的概要进行说明。此处，以握持动作的机器学习为例来进行说明，所述握持动作用于从散放且外观特征(例如形状、大小或颜色等的组合)不同的多种物体中拾取特定种类的物体70。
提取部102输入从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201，并且输出拍摄多种物体及其周边环境而获得的图像信息501，从多种物体中提取经指定的特定种类的物体70并输出表示特定种类的物体70的位置及姿势的信息301。提取部102包括提取引擎102A、102B。提取引擎102A具备通过图像识别来对各种物体的外观特征进行识别的功能，基于对特定种类的物体70进行指定的信息201，从图像信息501中提取特定种类的物体70的图像信息301A。作为对物体的外观特征进行识别的功能，例如可使用被称作基于模型的匹配(model based matching)的算法。提取引擎102B从图像信息501中提取特定种类的物体70的周围环境的图像信息301B。能够从图像信息301A、301B中通过图像分析来求出特定种类的物体70的位置及姿势。包含图像信息301A、301B的信息301表示特定种类的物体70的位置及姿势。另外，提取引擎102A、102B例如是后述的机器人控制程序中所含的软件模块。
对于学习模块103，输入信息301、信息202及信息302、所述信息301表示由信息201所指定的物体70的位置及姿势，所述信息202表示由信息201所指定的物体70与机器人20的指尖之间的设为目标的相对位置关系，所述信息302表示机器人20的位置及姿势。物体70与机器人20的指尖之间的相对位置关系例如能够使用从机器人20的指尖观察的物体70的相对位置坐标信息(例如，XYZ坐标系上的X坐标、Y坐标及Z坐标)及姿势信息(例如，翻滚(roll)角α、俯仰(pitch)角β及偏航(yaw)角γ)来确定。信息302是从对机器人20的各关节的角度进行检测的检测装置(例如编码器)输出的信息。
当输入对物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202时，基于机器人20及物体70各自的当前位置及姿势，通过反向运动学来决定实现设为目标的相对位置关系的机器人20的姿势(各关节的关节角(joint angle))的候选。若实现设为目标的相对位置关系的机器人20的姿势的候选存在多个，则也可基于评价函数的评估值来选择任一个候选。作为此种评价函数，例如也可使用输出根据机器人20的移动路径的长度而变化的评估值的评价函数。这样，当实现物体70与机器人20的指尖之间的设为目标的相对位置关系的机器人20的姿势被决定时，用于使机器人20采取所述经决定的姿势的动作指令401被决定。动作指令401例如是对驱动机器人20的各关节的马达给予的指令信号。学习模块103对信息201、202、301、302与动作指令401的组合进行有教学学习。
此处，对机器人20的指尖握持物体70的动作的学习进行补充。图1表示了对下述动作进行学习的示例，即：作为机器人20的指尖握持物体70的部分，握持三个不同的部分71、72、73。例如，在进行学习以使机器人20的指尖进行握持物体70的部分71的动作时，作为信息201，使用从多种物体中指定作为操作对象的特定种类的物体70的信息，作为信息202，使用对物体70的部分71与机器人的指尖之间的设为目标的相对位置关系进行指定的信息。同样，在进行学习以使机器人20的指尖进行握持物体70的部分72的动作时，作为信息201，使用从多种物体中指定作为操作对象的特定种类的物体70，作为信息202，使用对物体70的部分72与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息。而且，同样，在进行学习以使机器人20的指尖进行握持物体70的部分73的动作时，作为信息201，使用从多种物体中指定作为操作对象的特定种类的物体70的信息，作为信息202，使用对物体70的部分73与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息。机器人20的指尖与物体70之间的相对位置关系对应于各个部分71、72、73的每一个而不同。这样，关于各个部分71、72、73，学习模块103对信息201、202、301、302与动作指令401的组合进行有教学学习。
为了便于说明，图1所示的示例中，表示了对握持物体70的三个不同的部分的动作进行学习的示例，但也可对分别握持物体70经细分化的多个微小部分的动作进行学习。而且，在学习阶段中，也可一边将表示机器人20的位置及姿势的参数值与表示物体70的位置及姿势的参数值分别变更为随机的值，一边关于机器人20及物体70分别可采取的所有位置及姿势而进行学习模块103的机器学习。另外，关于多种物体中的物体70以外的各物体，也通过所述方法来进行学习模块103的机器学习。
当像这样进行机器学习时，由学习模块103的学习结果而生成根据信息201、202、301、302的组合而定的动作指令401并输出至机器人20。例如，在作为信息201，而使用从多种物体中指定作为操作对象的特定种类的物体70的信息，作为信息202，而使用对物体70的部分71与机器人的指尖之间的设为目标的相对位置关系进行指定的信息的情况下，向机器人输出动作指令401，所述动作指令401用于使机器人从多种物体中选择任一物体70并握持所选择的物体70的部分71。机器人20响应动作指令401，从多种物体中选择任一物体70并握持所选择的物体70的部分71。
在此种机器人20的动作控制中，可能产生下述情况，即，因操作者事后的原因而想要变更机器人20的动作。例如，在物体70的部分中，部分71容易造成划痕，与此相对，部分73难以造成划痕的情况下，通过将对物体70的部分73与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息作为信息202而输入至学习模块103，从而能够将机器人握持物体70的部分由部分71变更为部分73。
而且，在尽管机器人20已通过机器学习而学习了握持物体70的部分72，但由于误差等的影响，机器人握持了位于从部分72稍许偏离的部位的部分72A的情况下，通过将对参考了从物体70的部分72计起的误差的方向及误差的程度而定的物体的某部分72B与机器人的指尖之间的设为目标的相对位置关系进行指定的信息作为信息202而输入至学习模块103，从而也能够进行微调，以使机器人20握持物体70的部分与部分72一致。
这样，物体70与机器人20的指尖之间的设为目标的相对位置关系能够通过操作者的指定来变更。
根据本实施方式，通过使用进行了机器人20的动作的机器学习的学习模块103，无须使学习模块103重新学习而能够人为地进行调整，以使机器人20如操作者所期待的那样运行，所述机器人20的动作的机器学习是用于将对机器人20所操作的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202作为输入，而使两者的相对位置关系与由信息202所指定的设为目标的相对位置关系一致。
另外，物体70与机器人20的指尖之间的设为目标的相对位置关系跟机器人20及物体70各自的位置及姿势无关而为固定，因此使用信息202的学习模块103的机器学习并不限于握持物体的动作，例如也能够适用于用于使机器人20执行使收容液体的物体的姿势变化固定角度而使固定体积的液体从物体流出的动作的机器学习、或用于使机器人20执行与其他固定的物理量的操作相关的动作的机器学习。
学习模块103包含具备通过机器学习来学习机器人20的动作控制的能力的专用或通用的硬件或软件的一单位、或者将它们任意组合的一单位。学习模块103也可具备包含学习完毕模型的软件程序，所述学习完毕模型具备通过机器学习来学习机器人20的动作控制的能力。学习模块103也可包括保存有所述软件程序的存储装置、及从存储装置读出软件程序的硬件处理器。学习模块103也可包含学习完毕模型的复制物或蒸馏物。此处，学习完毕模型的复制物不仅包含复制了模型的内部结构的复制物，也包含对学习已完成的学习完毕的学习模块或所述学习完毕的学习模块的复制物进行了追加学习的复制物。蒸馏物是指通过所谓的蒸馏而获得的学习完毕模型。蒸馏包含：以确保学习完毕模型的功能的方式，使结构与学习完毕模型不同的其他学习模型进行学习，获得学习完毕的所述其他学习完毕模型。此处，所述其他学习完毕模型(蒸馏物)也可为内部结构比成为其基础的学习完毕模型简单，而更适合于配置(deploy)的模型。另外，学习完毕模型的复制物或蒸馏物未必需要具备学习能力。学习模块103也可包含具有下述函数功能的规定结构，即，依据参数来将输入(例如信息201、202、301、302)转换为输出(例如动作指令401)。作为此种结构的一例，可列举神经网络。
[硬件结构]
接下来，一边参照图2及图3，一边对本实施方式的机器人控制装置10的硬件结构的一例进行说明。
机器人控制装置10控制机器人20的动作。图2所示的示例中，机器人20为六轴垂直多关节机器人。机器人20包括底座21、第一链节22、第二链节23、第三链节24、第四链节25、第五链节26、第六链节27及末端执行器28。机器人20包括使各个链节旋转运动的可动轴(驱动用马达)。由此，机器人20是由底座21及多个链节21～27经由驱动用马达彼此连接而构成。另外，末端执行器28为机器人20的指尖的一例。
底座21被安装于设置机器人20的结构物。底座21通过与其上表面垂直的第一可动轴而与第一链节22连接。第一链节22相对于底座21，能够以所述第一可动轴为中心而旋转。第一链节22是一端彼此连接的两片板状构件。第一链节22通过与两片板状构件的彼此相向的面垂直的第二可动轴而与第二链节23连接。第二链节23相对于第一链节22，能够以所述第二可动轴为中心而旋转。
第二链节23是一端彼此连接的两片板状构件。第二链节23通过两片板状构件而夹着第三链节24。第二链节23通过与两片板状构件的彼此相向的面垂直的第三可动轴而与第三链节24连接。第三链节24相对于第二链节23，能够以所述第三可动轴为中心而旋转。第三链节24是通过与第二链节23的两片板状构件的彼此相向的面平行的第四可动轴而与第四链节25连接的构件。第四链节25相对于第三链节24，能够以所述第四可动轴为中心而旋转。
第四链节25是一端彼此连接的两片板状构件。第四链节25的两片板状构件彼此相向。第四链节25通过两片板状构件来夹着第五链节26。第四链节25通过与两片板状构件的彼此相向的面垂直的第五可动轴而与第五链节26连接。第五链节26相对于第四链节25，能够以所述第五可动轴为中心而旋转。第五链节26是通过与第四链节25的两片板状构件的彼此相向的面垂直的第六可动轴而与第六链节27连接的构件。
第六链节27是经由第六可动轴而与第五链节26连接的构件。第五链节26与第六链节27构成为圆筒状。而且，第五链节26与第六链节27具有共同的中心轴，第六链节27相对于第五链节26，以第七可动轴为中心而旋转。第六链节27是如下所述的构件，即，在与连接第五链节26的端部为相反侧的端部，具有用于直接或者经由连接构件(附件(attachment))而间接地安装末端执行器28的连接结构，且经由所述连接结构而与末端执行器28连接。
末端执行器28是握持物体70的机构。所述机构只要具有能够握持物体70的结构即可。而且，末端执行器28也可取代对物体70的握持，而包括吸附物体70的机构。另外，机器人20并不限定于六轴垂直多关节机器人，只要具有两个以上的可动轴即可。机器人20例如也可为五轴垂直多关节机器人或七轴垂直多关节机器人。
在机器人控制装置10，连接有对多种物体及其周边环境进行拍摄的拍摄装置(例如摄像机)30。通过拍摄装置30的拍摄而获得的图像信息501例如包含能够掌握由信息201所指定的物体70与机器人20之间的相对位置关系的图像。
图3是表示机器人控制装置10的硬件结构的一例的说明图。机器人控制装置10是一种计算机系统，包括运算装置11、存储装置12、输入/输出接口13、输入装置14、输出装置15、拍摄装置30及检测装置40以作为其硬件资源。检测装置40例如是对机器人20的各关节的角度进行检测的编码器。运算装置11包括中央处理器(Central Processing Unit，CPU)111、只读存储器(Read Only Memory，ROM)112及随机存取存储器(Random Access Memory，RAM)113。存储装置12为盘介质(例如磁记录介质或光磁记录介质)或者半导体存储器(例如易失性存储器或非易失性存储器)等计算机可读取的记录介质。此种记录介质例如也可称作非一次性记录介质。存储装置12保存有机器人控制程序120。机器人控制程序120从存储装置12被读取到RAM113中，由CPU111进行解释及执行。此时，输入/输出接口13从拍摄装置30输入图像信息501，并且从检测装置40输入表示机器人20的位置及姿势的信息302，并将动作指令401输出至机器人20。输入装置14是供操作者对机器人控制装置10输入信息201、202的设备。作为输入装置14的示例，可列举键盘、鼠标或触控面板。输出装置15是用于将供操作者进行学习模块103的机器学习的设定或变更(例如，物体70与机器人20的指尖之间的设为目标的相对位置关系的指定、机器人20握持物体70的位置的学习、或机器人20握持物体70的位置的变更或微调)的信息通过例如图形用户接口来予以提供的设备。作为输出装置15的示例，可列举显示装置(显示器)。
[功能结构]
图4是表示机器人控制装置10的功能的一例的框图。通过机器人控制装置10的硬件资源与机器人控制程序120的协作，来实现作为输入部101、提取部102、学习模块103及输出部104的功能。
输入部101受理来自操作者50的信息201、202的输入。输入部101的功能例如是通过运算装置11、输入装置14、输出装置15及机器人控制程序120的协作而实现。输入部101例如也可通过用于受理操作者50对信息201、202的输入的图形用户接口(Graphical UserInterface，GUI)。图5表示此种图形用户接口的一例。本例中，在输出装置15的画面60上显示有用于输入信息202的窗口(window)61。操作者50能够通过窗口61来设定例如X＝X0、Y＝Y0、Z＝Z0的值，以作为从机器人20的指尖观察的物体70的相对位置坐标信息(X、Y、Z)。同样，操作者50能够通过窗口61来设定例如α＝α0、β＝β0、γ＝γ0的值，以作为从机器人20的指尖观察的物体70的相对姿势信息(α、β、γ)。另外，α、β、γ分别为从机器人20的指尖观察的物体70的翻滚角、俯仰角及偏航角。
此处，再次返回图4的说明。提取部102从图像信息501提取由信息201所指定的特定种类的物体70而生成表示特定种类的物体70的位置及姿势的信息301。提取部102的功能例如是通过运算装置11、输入/输出接口13及机器人控制程序120的协作而实现。输出部104根据学习模块103的学习结果来生成动作指令401并输出至机器人20。输出部104的功能例如是通过运算装置11、输入/输出接口13及机器人控制程序120的协作而实现。
另外，机器人控制装置10的各功能(输入部101、提取部102、学习模块103及输出部104)未必需要通过机器人控制装置10的硬件资源与机器人控制程序120的协作来实现，例如也可使用机器人控制装置10的专用的硬件资源(例如专用集成电路(ApplicationSpecific lntegrated Circuit，ASIC)或现场可编程门阵列(Field Programmable GateArray，FPGA)等)来实现。
[机器人控制方法]
图6是表示本实施方式的机器人控制方法的处理流程的一例的流程图。在所述处理中，机器人控制装置10按照机器人控制程序120，使用学习完毕的学习模块103来控制机器人20的动作。
步骤601中，机器人控制装置10受理从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201的输入。
步骤602中，机器人控制装置10受理对由信息201所指定的特定种类的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202的输入。
步骤603中，机器人控制装置10拍摄多种物体及其周边的环境。
步骤604中，机器人控制装置10从通过拍摄而获得的图像信息501中，提取由信息201所指定的特定种类的物体70而生成表示特定种类的物体70的位置及姿势的信息301。
步骤605中，机器人控制装置10检测表示机器人20的位置及姿势的信息302。
步骤606中，机器人控制装置10准备学习模块103，所述学习模块103包含学习完毕模型或输入/输出关系与学习完毕模型同等的模型，所述学习完毕模型进行了用于使由信息201所指定的特定种类的物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人20的动作的机器学习。
步骤607中，机器人控制装置10根据学习模块103的学习结果而生成对机器人20的动作进行指示的动作指令401并输出至机器人20，所述机器人20的动作用于使根据表示特定种类的物体70的位置及姿势的信息301与表示机器人20的位置及姿势的信息302而定的、物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致。
另外，在作为机器人20所操作的对象的物体的种类为特定的一种类时、或者作为操作对象的物体的数量为一个时等不需要确定作为操作对象的物体的种类时，也可省略信息201向机器人控制装置10的输入。
另外，本实施方式的机器人20并不限定于被用于工厂自动化的工业机器人，例如也可为被用于服务业的机器人(例如操作机器人(operating robot)、医疗用机器人、清扫机器人、救援机器人(rescue robot)、安保机器人(security robot)等等)。
所述实施方式的一部分或全部可如以下的附注那样记载，但并不限定于以下。
(附注1)
一种机器人控制装置10，包括：
输入部101，受理从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201的输入、以及对经指定的特定种类的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202的输入；
拍摄装置30，拍摄多种物体及其周边的环境；
提取部102，从通过拍摄装置30的拍摄而获得的图像信息501中，提取经指定的特定种类的物体70而生成表示特定种类的物体70的位置及姿势的信息；
检测装置40，检测机器人20的位置及姿势；
学习模块103，包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人20的动作的机器学习；以及
输出部104，根据学习模块103的学习结果而生成对机器人20的动作进行指示的动作指令401并输出至机器人20，所述机器人20的动作用于使根据由提取部102所生成的表示特定种类的物体70的位置及姿势的信息301及表示由检测装置40所检测出的机器人20的位置及姿势的信息302而定的、物体70与机器人20的指尖之间的相对位置关系，与设为目标的相对位置关系一致。
(附注2)
根据附注1所述的机器人控制装置10，其中
物体70与机器人20的指尖之间的设为目标的相对位置关系跟机器人20及物体70各自的位置及姿势无关而为固定。
(附注3)
根据附注1或2所述的机器人控制装置10，其中
物体70与机器人20的指尖之间的设为目标的相对位置关系能够通过操作者50的指定来变更。
(附注4)
根据附注1至3中任一项所述的机器人控制装置10，其中
输入部101包括图形用户接口(GUI)，所述图形用户接口用于指定物体70与机器人20的指尖之间的设为目标的相对位置关系。
(附注5)
根据附注1至4中任一项所述的机器人控制装置10，其中
指定特定种类的物体70的信息201被输入至提取部102。
(附注6)
一种机器人控制方法，由计算机系统执行：
步骤601，受理从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201的输入；
步骤602，受理对经指定的特定种类的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202的输入；
步骤603，拍摄多种物体及其周边的环境；
步骤604，从通过拍摄而获得的图像信息501中，提取经指定的特定种类的物体70而生成表示特定种类的物体70的位置及姿势的信息301；
步骤605，检测机器人20的位置及姿势；
步骤606，准备学习模块103，所述学习模块103包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人20的动作的机器学习；以及
步骤607，根据学习模块103的学习结果而生成对机器人20的动作进行指示的动作指令401并输出至机器人20，所述机器人20的动作用于使根据表示特定种类的物体70的位置及姿势的信息301及表示机器人20的位置及姿势的信息302而定的、物体70与机器人20的指尖之间的相对位置关系，与设为目标的相对位置关系一致。
(附注7)
一种机器人控制程序120，使计算机系统执行：
步骤601，受理从多种物体中指定作为机器人20所操作的对象的特定种类的物体70的信息201的输入；
步骤602，受理对经指定的特定种类的物体70与机器人20的指尖之间的设为目标的相对位置关系进行指定的信息202的输入；
步骤603，拍摄多种物体及其周边的环境；
步骤604，从通过拍摄而获得的图像信息501中，提取经指定的特定种类的物体70而生成表示特定种类的物体70的位置及姿势的信息301；
步骤605，检测机器人20的位置及姿势；
步骤606，准备学习模块103，所述学习模块103包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的特定种类的物体70与机器人20的指尖之间的相对位置关系与设为目标的相对位置关系一致的、机器人20的动作的机器学习；以及
步骤607，根据学习模块103的学习结果而生成对机器人20的动作进行指示的动作指令401并输出至机器人20，所述机器人20的动作用于使根据表示特定种类的物体70的位置及姿势的信息301及表示机器人20的位置及姿势的信息302而定的、物体70与机器人20的指尖之间的相对位置关系，与设为目标的相对位置关系一致。
符号的说明
10：机器人控制装置
11：运算装置
12：存储装置
13：输入/输出接口
14：输入装置
15：输出装置
20：机器人
30：拍摄装置
40：检测装置
50：操作者
60：画面
61：窗口
70：物体
71：部分
72：部分
73：部分
101：输入部
102：提取部
103：学习模块
104：输出部
120：机器人控制程序

Claims (7)

1.一种机器人控制装置，包括：
输入部，受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入、以及对经指定的所述特定种类的物体与所述机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；
拍摄装置，拍摄所述多种物体及其周边的环境；
提取部，从通过所述拍摄装置的拍摄而获得的图像信息中，提取经指定的所述特定种类的物体而生成表示所述特定种类的物体的位置及姿势的信息；
检测装置，检测所述机器人的位置及姿势；
学习模块，包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的所述特定种类的物体与所述指尖之间的相对位置关系与所述设为目标的相对位置关系一致的、所述机器人的动作的机器学习；以及
输出部，根据所述学习模块的学习结果而生成对所述机器人的动作进行指示的动作指令并输出至所述机器人，所述机器人的动作用于使根据由所述提取部所生成的表示所述特定种类的物体的位置及姿势的信息及表示由所述检测装置所检测出的所述机器人的位置及姿势的信息而定的、所述物体与所述指尖之间的相对位置关系，与所述设为目标的相对位置关系一致。
2.根据权利要求1所述的机器人控制装置，其中
所述物体与所述指尖之间的设为目标的相对位置关系跟所述机器人及所述物体各自的位置及姿势无关而为固定。
3.根据权利要求1或2所述的机器人控制装置，其中
所述物体与所述指尖之间的设为目标的相对位置关系能够通过操作者的指定来变更。
4.根据权利要求1至3中任一项所述的机器人控制装置，其中
所述输入部包括图形用户接口，所述图形用户接口用于指定所述物体与所述指尖之间的设为目标的相对位置关系。
5.根据权利要求1至4中任一项所述的机器人控制装置，其中
指定所述特定种类的物体的信息被输入至所述提取部。
6.一种机器人控制方法，由计算机系统执行下述步骤：
受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入；
受理对经指定的所述特定种类的物体与所述机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；
拍摄所述多种物体及其周边的环境；
从通过所述拍摄而获得的图像信息中，提取经指定的所述特定种类的物体而生成表示所述特定种类的物体的位置及姿势的信息；
检测所述机器人的位置及姿势；
准备学习模块，所述学习模块包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的所述特定种类的物体与所述指尖之间的相对位置关系与所述设为目标的相对位置关系一致的、所述机器人的动作的机器学习；以及
根据所述学习模块的学习结果而生成对所述机器人的动作进行指示的动作指令并输出至所述机器人，所述机器人的动作用于使根据表示所述特定种类的物体的位置及姿势的信息及表示所述机器人的位置及姿势的信息而定的、所述物体与所述指尖之间的相对位置关系，与所述设为目标的相对位置关系一致。
7.一种机器人控制程序，使计算机系统执行下述步骤：
受理从多种物体中指定作为机器人所操作的对象的特定种类的物体的信息的输入；
受理对经指定的所述特定种类的物体与所述机器人的指尖之间的设为目标的相对位置关系进行指定的信息的输入；
拍摄所述多种物体及其周边的环境；
从通过所述拍摄而获得的图像信息中，提取经指定的所述特定种类的物体而生成表示所述特定种类的物体的位置及姿势的信息；
检测所述机器人的位置及姿势；
准备学习模块，所述学习模块包含学习完毕模型或者输入/输出关系与所述学习完毕模型同等的模型，所述学习完毕模型进行了用于使经指定的所述特定种类的物体与所述指尖之间的相对位置关系与所述设为目标的相对位置关系一致的、所述机器人的动作的机器学习；以及
根据所述学习模块的学习结果而生成对所述机器人的动作进行指示的动作指令并输出至所述机器人，所述机器人的动作用于使根据表示所述特定种类的物体的位置及姿势的信息及表示所述机器人的位置及姿势的信息而定的、所述物体与所述指尖之间的相对位置关系，与所述设为目标的相对位置关系一致。
CN201980051517.4A 2018-11-09 2019-10-31 机器人控制装置、机器人控制方法以及机器人控制程序 Pending CN112533739A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-211422 2018-11-09
JP2018211422A JP7205752B2 (ja) 2018-11-09 2018-11-09 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
PCT/JP2019/042709 WO2020095805A1 (ja) 2018-11-09 2019-10-31 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム

Publications (1)

Publication Number Publication Date
CN112533739A true CN112533739A (zh) 2021-03-19

Family

ID=70611801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980051517.4A Pending CN112533739A (zh) 2018-11-09 2019-10-31 机器人控制装置、机器人控制方法以及机器人控制程序

Country Status (5)

Country Link
US (1) US20210323145A1 (zh)
EP (1) EP3878605A4 (zh)
JP (1) JP7205752B2 (zh)
CN (1) CN112533739A (zh)
WO (1) WO2020095805A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114273726B (zh) * 2021-12-15 2023-06-20 熵智科技(深圳)有限公司 3d视觉引导切坡口方法、装置、设备、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统
CN104858876A (zh) * 2014-02-25 2015-08-26 通用汽车环球科技运作有限责任公司 机器人任务的可视调试
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN107848114A (zh) * 2015-08-25 2018-03-27 川崎重工业株式会社 产业用机器人及其运转方法
CN108349083A (zh) * 2015-11-13 2018-07-31 伯克希尔格雷股份有限公司 用于提供各种物体的分拣的分拣系统和方法
US20180290300A1 (en) * 2017-04-05 2018-10-11 Canon Kabushiki Kaisha Information processing apparatus, information processing method, storage medium, system, and article manufacturing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3998741B2 (ja) * 1995-07-12 2007-10-31 ファナック株式会社 ロボットの移動制御方法
JPH10249767A (ja) * 1997-03-13 1998-09-22 Mitsubishi Electric Corp 移動型物体把持装置及びその制御方法
JP4646943B2 (ja) * 2004-07-13 2011-03-09 パナソニック株式会社 ロボット
JP2016203293A (ja) * 2015-04-21 2016-12-08 株式会社豊田自動織機 ピッキング装置およびピッキング方法
JP6421722B2 (ja) * 2015-08-07 2018-11-14 オムロン株式会社 画像処理装置、校正方法および校正プログラム
JP6640060B2 (ja) * 2016-09-27 2020-02-05 株式会社日立製作所 ロボットシステム
CN110088797B (zh) * 2016-12-19 2023-04-21 株式会社安川电机 工业设备图像识别处理器及控制器
JP6771744B2 (ja) * 2017-01-25 2020-10-21 株式会社安川電機 ハンドリングシステム及びコントローラ
CN110248774A (zh) * 2017-02-09 2019-09-17 三菱电机株式会社 位置控制装置及位置控制方法
JP6983524B2 (ja) * 2017-03-24 2021-12-17 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102896630A (zh) * 2011-07-25 2013-01-30 索尼公司 机器人装置及其控制方法、计算机程序以及机器人系统
CN104858876A (zh) * 2014-02-25 2015-08-26 通用汽车环球科技运作有限责任公司 机器人任务的可视调试
CN107848114A (zh) * 2015-08-25 2018-03-27 川崎重工业株式会社 产业用机器人及其运转方法
CN108349083A (zh) * 2015-11-13 2018-07-31 伯克希尔格雷股份有限公司 用于提供各种物体的分拣的分拣系统和方法
US20170252924A1 (en) * 2016-03-03 2017-09-07 Google Inc. Deep machine learning methods and apparatus for robotic grasping
US20180290300A1 (en) * 2017-04-05 2018-10-11 Canon Kabushiki Kaisha Information processing apparatus, information processing method, storage medium, system, and article manufacturing method

Also Published As

Publication number Publication date
US20210323145A1 (en) 2021-10-21
EP3878605A4 (en) 2022-07-27
JP2020075337A (ja) 2020-05-21
EP3878605A1 (en) 2021-09-15
WO2020095805A1 (ja) 2020-05-14
JP7205752B2 (ja) 2023-01-17

Similar Documents

Publication Publication Date Title
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN111055279B (zh) 基于触觉与视觉结合的多模态物体抓取方法与系统
CN108873768B (zh) 任务执行系统及方法、学习装置及方法、以及记录介质
US11338435B2 (en) Gripping system with machine learning
JP5835926B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
Sayour et al. Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects
Nuzzi et al. Hands-Free: a robot augmented reality teleoperation system
WO2023037634A1 (ja) 指令値生成装置、方法、及びプログラム
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Jha et al. Generalizable human-robot collaborative assembly using imitation learning and force control
CN112533739A (zh) 机器人控制装置、机器人控制方法以及机器人控制程序
Ogawara et al. Acquiring hand-action models in task and behavior levels by a learning robot through observing human demonstrations
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
US20230150142A1 (en) Device and method for training a machine learning model for generating descriptor images for images of objects
Wu et al. Kinect-based robotic manipulation: From human hand to end-effector
Rolinat et al. Human initiated grasp space exploration algorithm for an underactuated robot gripper using variational autoencoder
CN114494426A (zh) 用于控制机器人来在不同的方位拿起对象的装置和方法
JP2021061014A (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Hu et al. Manipulator arm interactive control in unknown underwater environment
Saudabayev et al. An intelligent object manipulation framework for industrial tasks
US20230294278A1 (en) Robot System and Picking Method
Elachkar Robot Learning From Human Observation Using Deep Neural Networks
Maeda et al. Lighting-and occlusion-robust view-based teaching/playback for model-free robot programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination