CN113412178B - 机器人控制装置、机器人系统以及机器人控制方法 - Google Patents

Abstract

机器人控制装置(15)包括校正工作学习完成模型构建部(43)。校正工作学习完成模型构建部(43)通过学习使用者以干预为了进行一系列工作的机器人手臂10的暂定动作的方式进行校正操作时的校正工作数据来构建校正工作学习完成模型(44)。该校正工作数据是将机器人手臂(10)进行动作时的该机器人手臂(10)及其周遭的状态作为输入数据，且将使用者根据该输入数据的校正操作或机器人手臂(10)的通过该校正操作的校正操作量作为输出数据。

Description

机器人控制装置、机器人系统以及机器人控制方法

技术领域

本发明主要涉及一种机器人控制装置，其基于通过机器学习构建的学习完成模型使机器人进行工作。详细结构与学习完成模型的构建有关。

背景技术

过往，通过预先制作的程序控制机器人等控制对象物而进行所希望的运动。例如，专利文献1公开了一种结构，在该结构中，机器人的控制部包括：CPU；ROM，其存储有用于控制机器人的程序；以及RAM，其存储有以机器人语言编写的程序，该程序用于使机器人执行工作。

[现有技术文献]

[专利文献]

专利文献1：日本特开平7-134605号公报

发明内容

发明所要解决的技术问题

在现有结构中，用于移动机器人等的程序，是通过人类在理解工作的基础上对运动方式进行编程而实现的。但是，这种方法通常需要时间来制作程序和进行调整。

近年来，机器学习作为一种代替程序的手段，受到了极大的关注，机器学习用于根据信息数据反复学习，自动地找寻规则、规律，实现与人类自然进行的学习能力相类似的功能。

在使用这种机器学习控制机器人的动作的系统中，通常需要大量的数据用于学习。因此，当将人为的操作作为学习的对象时，会增加操作人员用于收集数据的负担。为此，期望获得一种结构，其不仅能够实现机器人的高度自主动作，同时还能减轻操作人员的负担。

有鉴于此，本发明的目的在于提供一种机器人控制装置等，该机器人控制装置在基于学习了人类的操作的学习完成模型而使机器人动作的情况下，不仅能使机器人进行高层次的动作，同时还能减轻学习用的操作人员的负担。

解决问题所使用的技术方案

本发明所欲解决的问题诚如以上说明，下面对用以解决该问题的手段及其功效进行说明。

根据本发明的第一观点，提供以下结构的机器人控制装置。也就是说，该机器人控制装置，在将人为操作机器人进行一系列工作时的该机器人及其周遭的状态作为输入数据，且将人为根据该输入数据的操作或该机器人的通过该操作的动作作为输出数据时，基于利用机器学习从所述输入数据估计得出所述输出数据的结果来控制机器人。机器人控制装置，包括暂定动作信息输出部、暂定控制部、校正工作数据收集部、学习完成模型构建部和校正后控制部。所述暂定动作信息输出部输出暂定动作信息，该暂定动作信息用于使所述机器人暂定动作以使所述机器人进行所述一系列的工作。所述暂定控制部基于所述暂定动作信息进行控制，从而使所述机器人进行所述一系列的工作，并且以干预该机器人的暂定动作的方式人为进行校正操作。所述校正工作数据收集部用于收集校正工作数据，该校正工作数据，是将以通过所述暂定控制部干预所述机器人的暂定动作的方式人为进行校正操作时的该机器人及其周遭的状态作为输入数据，且将显示人为根据该输入数据的校正操作或该机器人的通过该校正操作的校正动作的数据作为输出数据。所述学习完成模型构建部通过学习所述校正工作数据来构建学习完成模型。所述校正后控制部，基于所述暂定动作信息控制所述机器人，并且在将该机器人及其周遭的状态作为所述输入数据输入至所述学习完成模型时将所述学习完成模型输出的所述输出数据应用于该机器人的控制。

由此，在构建学习完成模型时，由于人员能专注于校正机器人进行的暂定动作的操作上，因此能够减轻操作的负担，同时能够获得高质量的学习用的工作数据。由此，即使人员的操作不熟练，也能够轻松实现更接近理想状态的控制。

根据本发明的第二观点，提供下述的机器人控制方法。也就是说，在将人为操作机器人进行一系列工作时的该机器人及其周遭的状态作为输入数据，且将人为根据该输入数据的操作或该机器人的通过该操作的动作作为输出数据时，该机器人控制方法基于利用机器学习从所述输入数据估计得出所述输出数据的结果来控制机器人。机器人控制方法包括暂定动作信息输出工序、暂定控制工序、校正工作数据收集工序、学习完成模型构建工序和校正后控制工序。在所述暂定动作信息输出工序中，输出用于使所述机器人暂定动作以进行所述一系列工作的暂定动作信息。在所述暂定控制工序中，基于所述暂定动作信息进行控制，从而使所述机器人进行所述一系列工作，并以干预该机器人的暂定动作的方式人为进行校正操作。在所述校正工作数据收集工序中，用于收集学习完成模型学习的校正工作数据。该学习完成模型，是将在所述暂定控制工序中以干预所述机器人的暂定动作的方式人为进行校正操作时的该机器人及其周遭的状态作为输入数据，且将显示人为根据该输入数据的校正操作或该机器人的通过该校正操作的校正动作的数据作为输出数据。在所述学习完成模型构建工序中，通过使所述学习完成模型学习所述校正工作数据来构建学习完成模型。在所述校正后控制工序中，基于所述暂定动作信息控制所述机器人，并在将该机器人及其周遭的状态作为所述输入数据输入至所述学习完成模型时将所述学习完成模型输出的所述输出数据应用于该机器人的控制。

由此，在构建学习完成模型时，由于人员能专注于校正机器人进行的暂定动作的操作上，因此能够减轻操作的负担，同时能够获得高质量的学习用的工作数据。由此，即使使用者的操作不熟练，也能够轻松实现更接近使用者的理想的控制。

根据本发明，能在基于学习了人类的操作的学习完成模型而使机器人动作的情况下使机器人进行高层次的动作，同时还能减轻学习用的操作人员的负担。

附图说明

图1是显示本实施方式的机器人系统的结构的框图；

图2是显示在机器人控制装置的自主运行时实现的一系列工作的示例的示意图；和

图3是显示校正操作力与暂定操作力的关系的图。

附图标记说明

10 机器人手臂(机器人)

15 机器人控制装装置

30 暂定AI部(暂定动作信息输出部)

41 校正工作数据收集部

43 校正工作学习完成模型构建部(学习完成模型构建部)

44 校正工作学习完成模型(学习完成模型)

50 暂定控制部

60 校正后控制部

具体实施方式

下面，参照附图说明本发明的实施方式。图1是显示本实施方式的机器人系统100的结构的框图。

图1所示的本实施方式的机器人系统100，是一种使机器人手臂(机器人)10自主进行工作的系统。此工作能够考虑为多种多样的工作，例如焊接、组装、加工、涂装、清洗、和研磨等。

机器人系统100，包括机器人手臂10、主臂20以及机器人控制装置15。机器人手臂10、主臂20以及机器人控制装置15彼此通过有线或无线连接而能够进行信号的交换。

机器人控制装置15能够一边在手动运行模式和自主运行模式之间切换一边移动机器人手臂10。在手动运行模式下，使用者(人员)通过手动操作主臂20而使机器人手臂10动作。在自主运行模式下，机器人手臂10基于预先学习了机器人手臂10的通过手动操作进行的动作的结果自主动作。

机器人手臂10，可构成为例如6个动作自由度的垂直型多关节机器人。机器人手臂10具备安装于基座的臂部。臂部具有多个关节。在每个关节上设置有省略图示的致动器(例如，电动机)，该致动器用于以该关节作为中心驱动臂部。臂部的前端安装有响应工作内容的末端执行器。末端执行器直接接触并作用在工件5上。

机器人手臂10的臂部和末端执行器基于动作命令而动作，该动作命令是用于使机器人手臂10动作的控制数据。

在机器人手臂10上安装有动作传感器11、力传感器12和照相机13。这些传感器可以检测机器人手臂10及其周遭的状态。

动作传感器11用于检测机器人手臂10的动作。动作传感器11设在机器人10的臂部的每个关节上，用于检测各关节的旋转角度或角速度。

力传感器12能够检测末端执行器从外部环境(具体为工件5等)获得的反作用力。机器人手臂10通过从外部环境施加的反作用力与省略图示的致动器施加的力的合力而运动，该致动器用于驱动机器人手臂10的各个关节。

照相机13是为了检测工作对象的工件5的影像等而设置。通过对相机13拍摄的影像进行图像处理，能够获得各种各样的信息。基于照相机13而获得的信息中，包括作为插入工件5的对象的另一部件6的位置、以及工件5与部件6的相对位置等信息。另外，基于照相机13而获得的信息中，包括与机器人手臂10的位置和姿势、以及工件5的位置和移动速度等有关的信息。

也可代替照相机13、或者除了照相机13以外还根据需要设置检测声音的声音传感器、检测振动的振动传感器等，以便获得机器人手臂10周遭的信息。

机器人系统100包括主臂20，该主臂20作为能够供使用者操作的操作部。主臂20配置在与机器人手臂10在物理上分离的位置。

在手动运行模式下，机器人系统100以追踪使用者操作的主臂20的运动的方式使作为从动臂的机器人手臂10动作(主从式的远程操作)。由此，使用者能够基于主臂20的操作使机器人手臂10动作，从而进行各种工作。

主臂20与机器人手臂10相同，作为公知的多关节机器人而构成。在主臂20的每个关节上设置有省略图示的致动器(例如，电动机)，该致动器用于以该关节作为中心来驱动臂部。

在主臂20上设置有未图示的操作力检测传感器。操作力检测传感器可以检测使用者施加在主臂20上的操作力。再者，该操作力是包含力的方向和大小的值，例如可以用向量显示。主臂20通过使用者施加的操作力与所述致动器施加的力的合力进行动作。由此，使用者能获得仿佛与机器人手臂10的实际工作环境接触那样的工作感觉。

机器人控制装置15是由公知的计算机构成，包括CPU、ROM、RAM和HDD等构成。若机器人控制装置15更具备GPU，则能在短时间内进行后述的神经网络的学习，故而优选。通过预先进行安装工作，将各种软件存储在所述HDD等中。该软件包括用于控制机器人手臂10和主臂20的控制应用程序、以及收集各种用于构建暂定工作学习完成模型34和校正工作学习完成模型44的数据的数据收集应用程序。

当处在手动运行模式时，机器人控制装置15以追踪主臂20的通过使用者的操作力进行的运动的方式驱动机器人手臂10的致动器，同时以传递机器人手臂10受到的反作用力的方式驱动主臂20的致动器。由此，能够实现相互作用的操作，使用者能够一边感受经由主臂20而虚拟提示的触觉一边使用该主臂20实时地远程控制机器人手臂10。

所述照相机13拍摄的影像被实时地传输至设在主臂20近旁的省略图示的显示器上。使用者能够一边观察显示器上的影像来确认状况一边操作主臂20。

如图1所示，机器人控制装置15，包括暂定AI部(暂定动作信息输出部)30、校正AI部40、暂定控制部50和校正后控制部60。具体地说，通过机器人控制装置15具备的CPU等硬件与所述控制应用程序等软件的协作，能使机器人控制装置15作为暂定AI部30、校正AI部40、暂定控制部50和校正后控制部60进行动作。

暂定AI部30用于实现机器人控制方法的暂定动作信息输出工序。暂定AI部30包括暂定工作数据收集部31、暂定工作数据分类部32、暂定工作学习完成模型构建部33和暂定工作学习完成模型34。

当使用者操作主臂20以使机器人手臂10进行作为学习对象的一系列工作时，暂定工作数据收集部31收集与该工作相关的数据。

详细稍待后述，但是由暂定AI部30实现的机器人手臂10的工作是作为暂定的工作。因此，在下面的说明中，有时将暂定工作数据收集部31收集的数据称为暂定工作数据。

一系列的工作虽可任意确定，但假定是有些复杂的工作。作为一系列的工作，例如，可考虑如图2所示的将工件5插入另一部件6的收容凹部7中的工作。再者，图2中省略了夹持工件5的机器人手臂10。

暂定工作数据包括通过动作传感器11、力传感器12、照相机13等检测机器人手臂10及其周遭的状态而获得的检测值。下面，也可将这些检测值统称为“传感器信息”。传感器信息显示机器人手臂10及其周遭的状态。另外，暂定工作数据包括通过操作力检测传感器检测使用者施加在主臂20上的操作力而获得的检测值。下面，也可将使用者作用在主臂20上的操作力称为“使用者操作力”。通过操作力检测传感器检测使用者操作力而得的检测值，是显示使用者的操作的值。

暂定工作数据随着机器人手臂10及其周遭的状态的变化而变化。在使用者操作主臂20使机器人手臂10进行一系列工作的过程中，以预定的时间间隔(相当于后述的采样频率的时间间隔)反复地获取暂定工作数据。

暂定工作数据收集部31，每次获取暂定工作数据时，便在暂定工作数据上附加例如时间戳。由此，能够表现暂定工作数据的时间顺序。

通过暂定工作数据收集部31收集的暂定工作数据的集合，作为用于构建暂定工作学习完成模型34的学习数据而使用。详细稍待后述。

暂定工作数据分类部32将通过暂定工作数据收集部31收集的暂定工作数据作为对象进行分类。

暂定工作数据分类部32，例如使用公知的NN法、K-均值法、自组织图等聚类方法对暂定工作数据进行分类。聚类是从大量数据中学习分布规律并自动获取彼此特征相似的数据的集合即多个簇的方法。将暂定工作数据分类为几个簇，可以适当地确定。暂定工作数据的分类，也能够使用除了聚类以外的自动分类方法进行。

可以认为综合了机器人手臂10及其周遭的状态与使用者根据该状态对主臂20进行的操作的状态(下面可称为场景)，在以时序分解一系列工作的每个场景皆存在特征。由于场景是通过所述暂定工作数据表现，因此通过将暂定工作数据作为对象进行适当的聚类，能够对机器人手臂10的场景进行分类。

如上所述，所收集的暂定工作数据显示的一系列工作被分类为多个工作流程。例如，考虑将对暂定工作数据进行聚类的结果分类为图2所示的三个工作流程的情况，其中，该暂定工作数据是在将工件5插入收容凹部7的一系列工作中获取的。在下面的说明中，可将这三个工作流程称为空间运送工序、位置对准工序和插入工序。

在空间运送工序中，机器人手臂10保持工件5并使工件5位于收容凹部7的上方近旁。在空间运送工序中，工件5与形成收容凹部7的部件6相互不接触。

在位置对准工序中，在使机器人手臂10所保持的工件5与形成收容凹部7的部件6的表面接触的状态下，使该工件5移动至与收容凹部7一致的位置。

在插入工序中，机器人手臂10以能够将工件5顺利插入收容凹部7内的方式调整工件5与收容凹部7的位置关系，并将工件5插入收容凹部7内。

暂定工作学习完成模型构建部33，通过机器学习(监督学习)构建暂定工作学习完成模型34。暂定工作学习完成模型34的数量与将所述一系列工作分类后的工作流程数相同。

多个模型中的每一个模型仅学习被分类成对应的工作流程的簇的暂定工作数据。也就是说，在暂定AI部30中构建专用于每个工作流程的暂定工作学习完成模型34。由此，由于能够限制每个模型的学习对象，因而容易在短时间结束学习。

每个暂定工作学习完成模型34的形式是任意的，在本实施方式中，暂定工作学习完成模型34是一般结构的神经网络，其包括输入层、隐藏层和输出层。在每一层中配置有多个模拟脑细胞的单元。在输入层与输出层之间配置有隐藏层，该隐藏层由适当数量的中间单元构成。信息依输入层、隐藏层和输出层的顺序流动。隐藏层的数量可适当确定。

在该模型中，输入至输入层的数据(输入数据)是所述传感器信息。如上所述，传感器信息是显示机器人10及其周遭的状态的数据。输出层输出的数据(输出数据)是操作力检测传感器的检测值的估计结果，这在实质上表示被估计的使用者操作力。由此，输出数据显示由模型估计而得的人员的操作。

各输入单元与各中间单元通过供信息流动的路径而结合，各中间单元与各输出单元通过供信息流动的路径而结合。在每个路径上设定有上游侧的单元的信息给予下游侧的单元的信息的影响(权重)。

在学习阶段，暂定工作学习完成模型构建部33将传感器信息输入模型中，且比较从该模型输出的操作力与使用者操作力。暂定工作学习完成模型构建部33，以通过所述比较获得的误差变小的方式通过公知算法即误差反向传播算法来更新所述权重。通过连续执行上面的处理能够实现学习。

当暂定工作学习完成模型34进行学习时，暂定AI部30对暂定工作数据收集部31收集的暂定工作数据进行适当的细化处理，并以采样频率变小的方式进行转换。另外，暂定AI部30从包括在暂定工作数据中的传感器信息中去除与力传感器12的检测值有关的信息。这样，学习对象的数据变得简要，且触觉的要素被从数据中去除，因此可适当减少机器学习所需的时间。

依所述方式构建的暂定工作学习完成模型34，能够以大体反映各工作流程中的每个动作的方式输出用于控制机器人手臂10的动作的操作力。

在估计阶段，暂定AI部30，基于所述聚类结果算出输入的传感器信息在暂定工作数据分类部32中被分类成哪一个聚类。由此，能够获得与传感器信息对应的工作流程。然后，将传感器信息输入至多个暂定工作学习完成模型34中的与获得的工作流程相对应的暂定工作学习完成模型34中。暂定工作学习完成模型34，根据此信息估计并输出使用者操作力。在下面的说明中，可将暂定工作学习完成模型34估计并输出的使用者操作力称为暂定操作力。

由此，暂定工作学习完成模型34能够以大体上进行图2所示的工作的方式输出用于控制机器人手臂10的暂定操作力。换句话说，通过暂定工作学习完成模型34的输出，确定机器人手臂10前端的大致移动轨迹。由此，可视暂定操作力是用于使机器人手臂10暂定地动作以便进行一系列工作的信息(暂定动作信息)。

如上所述，暂定工作学习完成模型34，以省略了力传感器12的检测值的形式学习暂定工作数据。另一方面，暂定工作数据分类部32，以在一部分特征中包括力传感器12的检测值的形式对暂定工作数据进行聚类。由此，能考虑触觉因素而良好地进行工作流程的分类，该触觉因素被认为是一个对工作的每个场景赋予特征的重要因素。另外，在暂定AI部30的估计阶段，将包括在传感器信息中的力传感器12的检测值考虑在内，基于所述聚类结果获取对应于当前传感器信息的工作流程。由此，暂定AI部30可以准确地获取与传感器信息相对应的工作流程，从而能够适当地选择输出暂定操作力的暂定工作学习完成模型34。

在本实施方式中，使用者分两个阶段操作主臂20。用于暂定AI部30的学习的主臂20的操作对应于第一阶段的操作。由于暂定AI部30的暂定工作学习完成模型34学习大致动作的性质，主臂20在第一阶段的操作中也可对精密地进行图2的动作不予重视而略显随意。在第一阶段的操作以及后述的第二阶段的操作中，操作主臂20的使用者也可以是其他人员。

在估计阶段，暂定工作学习完成模型34将估计得出的暂定操作力输出至暂定控制部50和校正后控制部60。

暂定控制部50用于实现机器人控制方法的暂定控制工序。暂定控制部50用于进行控制，该控制组合了机器人手臂10的自主工作与机器人手臂10的通过使用者操作的手动工作。具体地说，暂定控制部50生成动作命令，该动作命令用于使机器人手臂10执行下面的动作，该动作是将基于暂定工作学习完成模型34输出的暂定操作力的动作与基于使用者对主臂20进行的操作的动作合成后的动作。暂定控制部50将生成的动作命令输出至机器人手臂10。

其结果，能够实现使机器人手臂10自主地进行一系列工作的控制。但是，由于此时的机器人手臂10的动作是基于简化学习数据而得的暂定工作学习完成模型34的输出(暂定操作力)，因此属于大致的动作。机器人手臂10的该动作被定义为以校正作为前提的初期动作。在此工作的途中，使用者根据需要操作主臂20，实时干预所述自主的动作，从而能够手动校正机器人手臂10的动作。

在一系列的工作中，包括需要特别细腻的动作的部分、或者视情况需要灵活动作的部分。例如，在图2所示的一系列工作的示例中，在从上往下数第二至第四个状态中，需要根据工件5与另一部件6的位置关系来调整力的大小以及对位置进行微调等。在这样的部分中，在大致的机器人手臂10的动作中经常发生工作故障。作为校正工作的一个示例，可考虑以成为细腻或灵活的动作的方式校正这种动作。此时主臂20的操作对应于所述主臂20的两个阶段的操作中的第二阶段的操作。

在暂定控制部50使机器人手臂10进行一系列工作的期间，当使用者为了校正机器人手臂10的动作而操作主臂20时，可通过校正AI部40学习该操作。详细稍待后述。

校正AI部40，包括校正工作数据收集部41、校正工作数据分类部42、校正工作学习完成模型构建部(学习完成模型构建部)43和校正工作学习完成模型(学习完成模型)44。

校正工作数据收集部41用于实现机器人控制方法的校正工作数据收集工序。校正工作数据收集部41收集使用者操作主臂20对机器人手臂10的动作进行校正时的校正工作数据。

校正工作数据是将所述传感器信息作为输入数据，且将与使用者此时对主臂20进行的操作相关的数据(具体为后述的操作力差分量)作为输出数据。与暂定工作数据收集部31相同，校正工作数据收集部41也是以能够表达时序的形式获取一系列的校正工作数据。

通过校正工作数据收集部41收集的校正工作数据的集合被作为构建校正工作学习完成模型44的学习数据使用。详细稍待后述。

校正工作数据分类部42将通过校正工作数据收集部41收集的校正工作数据作为对象进行分类。这种分类与暂定工作数据分类部32相同，可以通过使用适当的聚类方法进行分类。可适当地确定将校正工作数据分类成几个簇。

根据上面的说明，能够将收集的校正工作数据所显示的动作适当地分类。例如，可考虑将所述校正工作数据分类成图2中以虚线所框圈显示的两个调整工序的情况。在下面的说明中，也可将两个调整工序称为凹部搜寻工序和插入开始调节工序。

凹部搜寻工序，是一边以微小的力将机器人手臂10保持的工件5按压在形成有收容凹部7的部件6的表面上，一边使机器人手臂10保持的工件5沿着该表面移动，依靠反作用力的感觉等寻找工件5与收容凹部7相配的位置的工序。此时，以在使工件5沿部件6滑动时不会损伤工件5等的方式根据反作用力的大小来调节将工件5按压在部件6上的力。

插入开始调节工序，是在开始将工件5插入收容凹部7内时存在顿挫感的情况下，一边略微改变工件5的姿势和位置，一边寻找能消除顿挫感的状态的工序。

校正工作学习完成模型构建部43，用于实现机器人控制方法的学习完成模型构建工序。校正工作学习完成模型构建部43构建校正工作学习完成模型44。校正工作学习完成模型44的数量与对所述校正工作数据进行分类的调整工序数相同。

多个模型中的每一个模型仅学习被分类成对应的调整工序的簇的校正工作数据。由此，能构建专用于每个调整工序的校正工作学习完成模型44。通过限制学习的对象，与暂定工作学习完成模型34相同，容易在短时间内结束学习。

校正后工作学习完成模型44的形式是任意的，在本实施方式中，使用具有输入层、隐藏层和输出层的神经网络。

在这个模型中，输入至输入层的数据(输入数据)是所述传感器信息。输出层输出的数据(输出数据)是从使用者为了校正动作而操作的使用者操作力减去了与原动作对应的操作力(换句话说，暂定工作学习完成模型34输出的暂定操作力)的差分量。下面，有时将该差分量称为“操作力差分量”。图3示意性地示出了使用者操作力、暂定操作力和操作力差分量的关系。

在校正工作学习完成模型44的学习阶段，校正工作学习完成模型构建部43将传感器信息输入至模型中，将从该模型输出的操作力差分量与计算出的操作力差分量进行比较(监督学习)。

为了计算该操作力差分量，暂定AI部30在估计阶段进行动作。将与为了学习而被输入至校正工作学习完成模型44的传感器信息相同的传感器信息输入至暂定AI部30。暂定工作学习完成模型34，将针对该传感器信息的暂定操作力输出至校正AI部40。

校正AI部40的校正工作学习完成模型构建部43，以通过所述计算获得的误差变小的方式，在模型中通过误差反向传播算法更新上游侧的单元的信息给予下游侧的单元的信息的权重。通过连续地进行上面的处理能够实现学习。

在估计阶段，首先，确定输入至校正AI部40的传感器信息在校正工作数据分类部42被分类成哪一个簇。由此，能够获得对应于传感器信息的调整工序。然后，将传感器信息输入至与所获得的调整工序相对应的校正工作学习完成模型44。校正工作学习完成模型44，根据此信息估计并输出操作力差分量。

与暂定工作学习完成模型34的情况不同，当校正工作学习完成模型44进行学习时，校正AI部40不进行校正工作数据的采样频率的转换。另外，关于力传感器12的检测值的信息也不从校正工作数据中去除。由此，校正工作学习完成模型44，能够基于触觉因素也包括在内的丰富信息适当地学习细腻且复杂的动作。

如上所述构建的校正工作学习完成模型44，能以再现所述调整工序的动作的方式输出用于控制机器人手臂10的动作的操作力差分量。由此，能够适当地实现仅利用暂定工作学习完成模型34的暂定操作力难以完成的动作、例如考虑了工件5与收容凹部7的开口的位置关系、工件5与收容凹部7的内壁的位置关系等的动作的微调。

校正后控制部60用于实现机器人控制方法的校正后控制工序。校正后控制部60通过将暂定工作学习完成模型34的输出与校正工作学习完成模型44的输出综合来控制机器人手臂10。换句话说，校正后控制部60基于通过校正工作学习完成模型34输出的暂定操作力控制机器人手臂10，并且将通过校正工作学习完成模型44输出的操作力差分量应用于机器人手臂10的控制。校正后控制部60与暂定控制部50相同，生成用于使机器人手臂10动作的动作命令。校正后控制部60将生成的动作命令输出至机器人手臂10。

其结果，机器人手臂10基于合成了暂定操作力与操作力差分量(操作力的校正量)的操作力进行动作，该暂定操作力是来自暂定工作学习完成模型34的操作力，该操作力差分量(操作力的校正量)是来自校正工作学习完成模型44的操作力差分量。由此，即使在一系列工作中存在需要细腻动作或灵活动作的部分，也能够良好地进行自主工作。

在本实施方式的机器人控制装置15中，分成大致的动作及细腻的动作进行机器学习，构建每个学习完成模型(暂定工作学习完成模型34以及校正工作学习完成模型44)。通过这种分层，可以避免对不重要的部分进行详细学习，因此能更有效地进行用于实现一系列工作的机器学习。另外，在构建校正工作学习完成模型44的情况下(也就是说，在所述第二阶段的主臂20的操作中)，使用者可专注地进行细腻的工作。其结果，能够获得高质量的校正工作数据(使用者操作力的数据)，并且还能够减轻使用者的操作负担。

在本实施方式中，通过将主臂20的操作分成两个阶段，能够从一系列工作中局部地提取用于实现相对高层次的动作的调整工序。另外，在本实施方式中，对以此方式提取的调整工序进行分类，构建专用于每个调整工序的校正工作学习完成模型44。而且，每个校正工作学习完成模型44以相对于校正前的操作力的差分量的形式输出估计的校正操作。

由此，假若考虑例如将两个工件中大的工件插入大凹部、将小的工件插入小凹部的一系列工作，由于在该过程中多次出现相互类似的场景，因此，可考虑应用与这些通用的校正工作学习完成模型44。其结果，可以扩大校正后工作学习完成模型44的应用范围，并且能大幅减少整体学习所需的时间。

优选校正工作学习完成模型44将每个调整工序中的操作力差分量作为例如以检测的力的方向作为基准的相对操作力差分量进行学习。由此，不仅能以纵向的收容凹部7为对象而且还能以横向的收容凹部7作为对象进行例如、图2所示的穴部搜寻工序以及插入开始调节工序。由此，能够更自由灵活地利用校正工作学习完成模型44。

如上所述，本实施方式的机器人控制装置15，在将使用者操作机器人手臂10进行一系列工作时的该机器人手臂10及其周遭的状态作为输入数据，且将使用者根据该输入数据的操作作为输出数据时，基于利用机器学习从输入数据估计得出输出数据的结果来控制机器人手臂10。机器人控制装置15，包括暂定AI部30、暂定控制部50、校正工作数据收集部41、校正工作学习完成模型构建部43和校正后控制部60。暂定AI部30输出暂定操作力，该暂定操作力是用于使机器人手臂10暂定动作以使机器人手臂10进行一系列工作的数据。暂定控制部50，基于暂定操作力进行控制，从而使机器人手臂10进行一系列的工作，并且以干预该机器人手臂10的暂定动作的方式使使用者执行校正操作。校正工作数据收集部41用于收集校正工作数据，该校正工作数据，是将以通过暂定控制部50干预机器人手臂10的暂定动作的方式使使用者进行校正操作时的该机器人手臂10及其周遭的状态作为输入数据，且将显示使用者根据该输入数据的校正操作的操作力差分量作为输出数据。校正工作学习完成模型构建部43，通过学习校正工作数据来构建校正工作学习完成模型44。校正后控制部60，基于暂定操作力控制机器人手臂10。当将该机器人手臂10及其周遭的状态作为输入数据输入至校正工作学习完成模型44时，校正后控制部60将校正工作学习完成模型44输出的操作力差分量应用于该机器人手臂10的控制。

由此，当构建校正工作学习完成模型44时，由于使用者能够专注于校正机器人手臂10进行的暂定动作的操作上，因此能够减轻操作的负担，同时能够获得高质量的学习用的校正工作数据。因此，即使使用者的操作不熟练，也能轻松实现更接近使用者的理想的控制。

另外，在本实施方式的机器人控制装置15中，校正工作学习完成模型44的输出数据所表示的校正操作(操作力差分量)，是相对于暂定动作信息表示的使用者的操作(换句话说，暂定操作力)的差分量。

由此，能够容易地将校正工作学习完成模型44输出的校正操作应用在与暂定动作相关的使用者的操作上。并且，能够提高校正工作学习完成模型44的再利用性。

另外，在本实施方式的机器人控制装置15中，暂定AI部30输出暂定操作力，该暂定操作力是由所构建的暂定工作学习完成模型34输出。暂定工作学习完成模型34，是通过学习暂定工作数据而构建，该暂定工作数据是将使用者操作机器人手臂10进行一系列的工作时的该机器人手臂10及其周遭的状态作为输入数据，且将使用者根据该输入数据的操作作为输出数据。

由此，对于大致的机器人手臂10的动作和校正该动作的细腻动作分别利用机器学习，能够在整体上准确地控制机器人手臂10。

另外，在本实施方式的机器人控制装置15中，在暂定工作学习完成模型34学习的暂定工作数据的输入数据中不包括通过力传感器12检测机器人手臂10产生的触觉作用而得的结果。另一方面，在校正工作学习完成模型44学习的校正工作数据的输入数据中包括通过力传感器12检测机器人手臂10产生的触觉作用而得的结果。

由此，通过仅对校正动作进行考虑了触觉作用的学习，能够实现需要细腻感觉的控制，而且不会明显增加整体的学习时间。

另外，在本实施方式的机器人控制装置15中，校正工作学习完成模型44，根据基于校正工作数据的特征进行聚类的结果，在由每个簇表示的每个调整工序中学习校正工作数据。暂定工作学习完成模型34，根据基于暂定工作数据的特征进行聚类的结果，在由每个簇表示的每个工作流程中学习暂定工作数据。

由此，能够将校正工作学习完成模型44对原动作输出的校正(即，调整工序)共同应用于多个相似的场景。由此，例如，在暂定的动作中出现多个彼此类似的状态时，能够将相同的校正工作学习完成模型44应用于这些场景，因此能减少学习的时间。另外，在学习与过去学习的工作不同的一系列工作时，且在过去学习的一系列工作与之后学习的一系列工作之间的一部分状态彼此类似的情况下，能够将基于过去学习的工作学习完成模型44的校正应用于本次的学习。这样，可以灵活地利用校正后工作学习完成模型44。

另外，本实施方式的机器人系统100，包括机器人控制装置15和机器人手臂10。

由此，整体上能够有效地进行考虑了细腻或灵活的动作的一系列工作的学习。

另外，在本实施方式中，通过以下所示的方法进行机器人手臂10的控制。该机器人控制方法，包括暂定动作信息输出工序、暂定控制工序、校正工作数据收集工序、学习完成模型构建工序和校正后控制工序。在暂定动作信息输出工序中，输出用于使机器人手臂10暂定动作以进行一系列的工作的暂定动作信息。在暂定控制工序中，基于暂定动作信息进行控制，从而使机器人手臂10进行一系列的工作，并且以干预机器人手臂101的暂定动作的方式使使用者进行校正操作。在校正工作数据收集工序中，收集学习完成模型学习的校正工作数据，该校正工作数据是将以在暂定控制工序中干预机器人手臂10的暂定动作的方式人为进行校正操作时的该机器人手臂10及其周遭的状态作为输入数据，且将显示使用者根据该输入数据的校正操作的操作力差分量作为输出数据。在学习完成模型构建工序中，通过学习校正工作数据来构建校正工作学习完成模型44。在校正后控制工序中，基于暂定动作信息控制机器人手臂10。在校正后控制工序中，当将该机器人手臂10及其周遭的状态作为输入数据输入至校正工作学习完成模型44时，将校正工作学习完成模型44输出的输出数据应用于该机器人手臂10的控制。

由此，当构建校正工作学习完成模型44时，由于使用者能够专注于校正机器人手臂10进行的暂定动作的操作上，因此能够减轻操作的负担，同时能够获得高质量的学习用的工作数据。由此，即使使用者的操作不熟练，也能够轻松实现更接近使用者的理想的控制。

上面说明了本发明的优选实施方式，但是所述结构例如能够以如下方式改变。

操作力也能够以加速度表现以代替使用者施加的力。另外，操作力中还可包括例如力矩。

暂定工作学习完成模型34，也能够以学习传感器信息与对机器人手臂10的暂定动作命令的关系，来代替学习传感器信息与暂定操作力的关系的方式构成。在这种情况下，动作命令为暂定动作信息。该动作命令实质上表示机器人手臂10的动作。

类似地，校正工作学习完成模型44，也能够以学习传感器信息与动作命令的差分量的关系来代替学习传感器信息与操作力差分量的关系的方式构成。

校正工作学习完成模型44，也能够不是以与暂定AI部30的输出的差分量的形式，而是学习为了校正而进行的使用者操作力本身或基于此的动作命令本身，并输出至校正后控制部60。

机器人控制装置15，除了将工件5插入收容凹部7的工作之外，还可以进行其他的工作。

对应于暂定AI部30的部分，也能够以通过AI以外的一些方法输出暂定动作信息的方式进行改变。例如，在机器人控制装置15具有使用3D模型的离线示教功能的情况下，使用者通过使用该功能来指定使工件5移动的轨迹。代替暂定AI部30而设置的示教结果输出部，计算为了实现所述轨迹而需要的主臂20的操作力，并输出此操作力作为暂定操作力。

也能够省略在暂定AI部30中用于暂定工作学习完成模型34的学习的暂定工作数据的细化或触觉作用的数据的去除。

也能够使用操纵杆、由脚操作的踏板等来代替主臂20。

暂定工作数据和校正工作数据中的与输出数据(使用者的操作)相关的部分，也能够通过主臂20的操作以外的操作来获取。例如，也能够在使用者的手或手腕上安装测量传感器等，直接测量使用者的动作，以收集位置、姿势等信息。另外，机器人系统100也可具备能够拍摄使用者的照相机等，且使用通过间接测量使用者的动作等而获得的位置和姿势。

另外，也能够以通过模拟构成能供使用者活动的虚拟环境，使用者经由适当的操作装置与该虚拟环境接触的方式构成。使用者根据操作装置给予使用者的力、和位置信息等操作操作装置。由此，能够收集暂定工作数据和校正工作数据。

Claims (7)

1.一种机器人控制装置，是在将人为操作机器人进行一系列工作时的该机器人及其周遭的状态作为输入数据，且将人为根据该输入数据的操作或该机器人的通过该操作的动作作为输出数据时，基于利用机器学习从所述输入数据估计得出所述输出数据的结果来控制机器人，其特征在于包括：

暂定动作信息输出部，其输出暂定动作信息，该暂定动作信息用于使所述机器人暂定动作以使所述机器人进行所述一系列的工作；

暂定控制部，其基于所述暂定动作信息进行控制，从而使所述机器人进行所述一系列的工作，并且以干预该机器人的暂定动作的方式人为进行校正操作；

校正工作数据收集部，其用于收集校正工作数据，该校正工作数据，是将以通过所述暂定控制部干预所述机器人的暂定动作的方式人为进行校正操作时的该机器人及其周遭的状态作为输入数据，且将显示人为根据该输入数据的校正操作或该机器人的通过该校正操作的校正动作的数据作为输出数据；

学习完成模型构建部，其通过学习所述校正工作数据来构建学习完成模型；和

校正后控制部，其基于所述暂定动作信息控制所述机器人，并且在将该机器人及其周遭的状态作为所述输入数据输入至所述学习完成模型时将所述学习完成模型输出的所述输出数据应用于该机器人的控制。

2.根据权利要求1所述的机器人控制装置，其中，所述学习完成模型的输出数据所表示的所述校正操作或所述校正动作，是相对于所述暂定动作信息表示的人为操作或所述机器人的动作的差分量。

3.根据权利要求1或2所述的机器人控制装置，其中，所述暂定动作信息输出部，使用被构建的学习完成模型即暂定工作学习完成模型的输出来输出所述暂定动作信息，

所述暂定工作学习完成模型，是通过学习暂定工作数据而构建，该暂定工作数据是将人为操作机器人进行一系列的工作时的该机器人及其周遭的状态作为输入数据，且将人为根据该输入数据的操作或该机器人的通过该操作的动作作为输出数据。

4.根据权利要求3所述的机器人控制装置，其中，在所述暂定工作学习完成模型学习的所述暂定工作数据的所述输入数据中不包括检测所述机器人产生的触觉作用而得的结果，

在所述学习完成模型学习的所述校正工作数据的所述输入数据中包括检测所述机器人产生的触觉作用而得的结果。

5.根据权利要求3所述的机器人控制装置，其中，所述学习完成模型，根据基于所述校正工作数据的特征进行聚类的结果，在由每个簇表示的每个调整工序中学习所述校正工作数据，

所述暂定工作学习完成模型，根据基于所述暂定工作数据的特征进行聚类的结果，在由每个簇表示的每个工作流程中学习所述暂定工作数据。

6.一种机器人系统，其特征在于包括：

根据权利要求1至5中任一项所述的机器人控制装置；和

所述机器人。

7.一种机器人控制方法，是在将人为操作机器人进行一系列工作时的该机器人及其周遭的状态作为输入数据，且将人为根据该输入数据的操作或该机器人的通过该操作的动作作为输出数据时，基于利用机器学习从所述输入数据估计得出所述输出数据的结果来控制机器人，该机器人控制方法的特征在于包括下面的工序：

暂定动作信息输出工序，在所述暂定动作信息输出工序中输出用于使所述机器人暂定动作以进行所述一系列的工作的暂定动作信息；

暂定控制工序，在所述暂定控制工序中基于所述暂定动作信息进行控制，从而使所述机器人进行所述一系列工作，并以干预该机器人的暂定动作的方式人为进行校正操作；

校正工作数据收集工序，在所述校正工作数据收集工序中收集学习完成模型学习的校正工作数据，该校正工作数据是将以在所述暂定控制工序中干预所述机器人的暂定动作的方式人为进行校正操作时的该机器人及其周遭的状态作为输入数据，且将显示人为根据该输入数据的校正操作或该机器人的通过该校正操作的校正动作的数据作为输出数据；

学习完成模型构建工序，在所述学习完成模型构建工序中，通过使所述学习完成模型学习所述校正工作数据来构建学习完成模型；和

校正后控制工序，在所述校正后控制工序中基于所述暂定动作信息控制所述机器人，并在将该机器人及其周遭的状态作为所述输入数据输入至所述学习完成模型时将所述学习完成模型输出的所述输出数据应用于该机器人的控制。