CN114269524B - 机器人控制装置 - Google Patents

Abstract

在ML模型(20)记述由执行工作的各个控制处理(工作控制)进行达成工作目的的控制的环境·状况的范围，根据ML模型(20)的输出值，工作控制选择部(16)选择在当前的状况下恰当的工作控制，工作控制执行部(18)执行被选择的工作控制。工作控制是指，机器人通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制处理。

Description

机器人控制装置

技术领域

本公开涉及具有某种传感器，通过传感器对周围的物体进行感测，随着与其他的物体(也包括被称为“环境”的物体。例如墙壁、地板)的交互作用的机器人的控制。本公开还涉及用于对机器人的工作控制的管理、评估验证、改善的控制程序的构成。

背景技术

在环境和任务不固定的有自由度的环境(开放的环境)下，随着与其他的物体交互作用进行工作的机器人(例子为自主控制的家政服务机器人、看护机器人等)，需要按照所处的环境·状况来灵活地工作。此外应该进行的工作也按照任务而多种多样。

看似相似的工厂车间内的机械臂是仅仅以单一的物体为对象，在单一的通道(路径)上移动(环境·状况·任务是固定的)，与针对机器人的要求是不同的。此外，在考虑实用化时，出现评估验证，改善的问题。

作为工作的例子有如下，将放置在各种地点的物体，移动到其他的各种地点；从物体的一侧抓住物体，保持并移动，放置在另外的地点；抓住物体之后，改变方向；使已安装的棒体穿过物体上的孔；将抓住的物体插入到物体与物体之间的间隙；堆积物体等。

此外，作为执行工作的环境·状况的例子有如下，物体所处的各种地点以及环境，周围存在什么样的物体，物体是否在物理上干扰另外的物体等。

作为考虑周围的物体的例子，提出了确认周围的物体的存在(物体占了哪个空间)、确认机器人是否在物理上干扰的系统(例如参考专利文献1)。

此外提出了将传感器信息输入到机器学习模型，根据机器学习模型的输出来控制对象设备，实现灵活地控制的系统(例如参考专利文献2)。

(现有技术文献)

(专利文献)

专利文献1：日本特开2005-81445号公报

专利文献2：日本特开2017-64910号公报

在上述的专利文献1公开的以往的系统中，判断周围的物体是否占据该空间，在不存在其他的物体的区域进行工作。因此该以往的系统没有考虑例如推开其他的物体将物体放置在那个地点的伴随物理的相互作用的工作，以及按照物体的种类而变更工作等，所以不能对应包括这样的工作的控制。

此外，在专利文献2公开的系统中，通过利用机器学习模型的控制，能够在广泛的状况下灵活地控制，但是按照每个个别的状况的工作控制的管理、评估验证、修改等存在困难。

此外，在所述以往技术中，在由于某个状况中的工作错误而对工作控制进行修改时，没有考虑通过该修改对其他状况中的工作控制的工作的影响。通过修改，有可能对其他状况中的工作控制的工作带来影响。在原本工作是成立/成功的状况下(能够实现达成目的的工作的状况)，通过该修改，工作发生变更，工作有可能不能成立/成功。因此，需要再次在所有状况下，对工作是否成立，进行评估验证。

发明内容

本公开的目的在于提供一种机器人控制装置，既能够实现与广泛的环境、状况对应的灵活的控制，并且能够分别个别地管理、修改与各个状况对应的工作的控制。

为了达到上述目的，第1形式涉及的技术方案是一种机器人控制装置，用于控制机器人，所述机器人控制装置，具备：机器学习模型，将所述机器人的周围的物体或所述机器人的如下状况信息之中的任意的状况信息作为输入，并输出输出值，所述状况信息是指(1)包括物理结构以及形状的物理特性、(2)关于按照时间能够变化的特性即位置、姿势或温度的当前的状态、(3)关于所述物理特性或所述当前的状态的与其他的物体之间的相对关系、以及(4)对所述物理特性或所述当前的状态进行组合的信息，所述输出值是示出对所述机器学习模型给予的工作控制在被输入的所述状况信息所示的状况下，工作是否成立以及工作成立的程度的二值或连续值或多维矢量值；工作控制选择部，在被输入所述状况信息时，对所述机器学习模型给予所述状况信息，从而获得与至少一个工作控制的每一个对应的所述输出值，根据获得的所述输出值，确定应该执行的工作控制；以及工作控制执行部，执行由所述工作控制选择部确定的所述工作控制，所述工作控制是指，所述机器人通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制处理。

在此，第1形式的技术方案可以是具备：机器学习模型，将从周围的物体和对象的机器人自身的包括物理结构以及形状的物理特性、按照时间能够变化的特性的当前的状态(位置、姿势、温度)、那些的相对关系、组合的信息(状况信息)中的任意的状况信息作为输入，并输出输出值，所述输出值是示出对所述机器学习模型给予的工作控制在被输入的状况下，工作是否成立以及工作成立的程度的(二值或连续值或多维矢量值)的值；工作控制选择部，在被输入工作目的以及状况信息时，对所述机器学习模型给予所述状况信息，从而获得与对应于所述工作目的的工作控制的每一个对应的所述输出值，根据获得的所述输出值，从与所述工作目的对应的工作控制中，选择应该执行的工作控制；以及工作控制执行部，执行由所述工作控制选择部选择的所述工作控制，所述工作控制是指，通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制处理。

在此，第1形式的技术方案可以是具备：机器学习模型，按照每个工作目的，存在与该工作目的对应的工作控制的数量，将周围的物体和对象的机器人自身的包括物理结构以及形状的物理特性、按照时间能够变化的特性的当前的状态(位置、姿势、温度)、那些的相对关系、组合的信息(状况信息)中的任意的状况信息作为输入，并输出输出值，所述输出值是示出对所述机器学习模型给予的工作控制在被输入的状况下，工作是否成立以及工作成立的程度的(二值或连续值或多维矢量值)的值；工作控制选择部，在被输入工作目的以及状况信息时，对所述机器学习模型给予所述状况信息，从而获得与对应于所述工作目的的工作控制的每一个对应的所述输出值，根据获得的所述输出值，从与所述工作目的对应的工作控制中，选择应该执行的工作控制，所述机器学习模型的数量为与所述工作目的对应的工作控制的数量；以及工作控制执行部，执行由所述工作控制选择部选择的所述工作控制，所述工作控制是指，通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制处理。

第1形式的技术方案的变形例可以是，所述机器学习模型，按照每个被给予的工作控制而分别构筑，或者即使是单一模型的结构，也以学习对象的工作控制以外的工作控制的所述输出值的输出没有影响的方法来进行对象的工作控制的模型的学习的模型，来进行学习。

第2形式的技术方案可以是，所述状况信息至少包括所述物体的绝对位置、相对位置、姿势、形状、种类的其中之一。换言之，所述状况信息，至少包括物体的位置(绝对位置、相对位置)、姿势、形状、种类的其中之一。

第3形式的技术方案可以是，还具备学习数据生成部，所述学习数据生成部，作为所述机器学习模型的学习数据来生成关于工作控制的状况数据和成立可否数据配对，所述状况数据和成立可否数据配对，根据(1)设计规格值、(2)实际的机器人的工作结果、(3)人的经验法则、或者(4)在物理模拟器内的工作结果而被生成。换言之，还具备学习数据生成部，作为所述机器学习模型的学习数据来生成根据工作控制的设计规格值、实际机器的工作结果、人的经验法则、或者在物理模拟器内的工作结果而被生成的状况数据和成立可否数据配对。

第4形式的技术方案可以是，所述学习数据生成部，在利用所述物理模拟器生成所述状况数据和成立可否数据配对的情况下，对所述物理模拟器除了给与工作控制，还给予对在所述工作控制中什么样的状态为所述工作控制的工作成立的状态进行定义的条件，在所述物理模拟器内对示出环境的状况信息进行各种变化并执行所述工作控制，对工作是否成立进行测试，将所述测试的结果，作为所述状况数据和成立可否数据配对来生成。换言之，所述学习数据生成部，在利用所述物理模拟器进行生成的情况下，除了给与工作控制，还给予对在该工作控制中什么样的状态为该工作控制的工作成立的状态进行定义的条件，在物理模拟器内对环境(状况信息)进行各种变化并执行工作控制，对工作是否成立进行测试，将该结果，作为所述状况数据和成立可否数据配对来生成。

第5形式的技术方案可以是，所述学习数据生成部，在利用所述物理模拟器对工作是否成立进行测试时，至少确定一个示出给予的工作控制的工作成立的环境的状况信息，以确定出的至少一个所述状况信息为起点，扫描示出要测试的环境的状况信息。换言之，在利用所述物理模拟器对工作是否成立进行测试时，至少确定一个给予的工作控制的工作成立的环境(状况信息)，以该点为起点，扫描要测试的环境(状况信息)。

通过本公开，提供一种机器人控制装置，既能够实现与广泛的环境、状况对应的灵活的控制，并且能够分别个别地管理、修改与各个状况对应的工作的控制。

更详细而言，通过第1形式的技术方案，能够灵活地判断工作控制的工作成立的状况，恰当地执行工作。换句话说，在多种多样并且大量的信息中，人能够进行的高级且非常复杂的想像，以及人手来记述存在困难的、工作控制的工作成立的状况的范围的边界，通过使用机器学习模型，就能够容易记述。

通过第1形式的技术方案的变形例，在进行状况判断的机器学习模型中，以对其他的工作控制的状况判断没有影响的方式，对与新的工作控制有关的状况判断进行追加、以及对与现有的工作控制有关的状况判断进行修改。

通过第2形式的技术方案，能够起到与第1形式的技术方案同等的作用效果。

通过第3形式的技术方案，能够起到与第1形式的技术方案同等的作用效果。

通过第4形式的技术方案，能够自动地进行状况判断的模型的构筑以及修改(学习以及再学习)。

通过第5形式的技术方案，在自动地进行状况判断的模型的构筑以及修改(学习以及再学习)时，将给予的状况信息作为对要测试的状况进行扫描时的起点，从而能够高效地进行成立的状况的范围的测试。

附图说明

图1是说明实施方式的机器人控制装置的基本概念的图。

图2是示出实施方式的机器人控制装置的基本概念的详细的图。

图3是示出实施方式的机器人控制装置的结构的方框图。

图4是说明实施方式的机器人控制装置进行的前处理的图。

图5是说明实施方式的机器人控制装置的工作(工作控制)的图。

图6是说明实施方式的机器人控制装置的维护/评估验证时的处理的图。

图7是示出实施方式的机器人控制装置具备的机器学习模型的具体例的图。

图8是说明实施方式的第1变形例的机器人控制装置的工作(工作控制)的图。

图9是说明实施方式的第2变形例的机器人控制装置的工作(工作控制)图。

图10是说明实施方式的机械学习模型的图。

具体实施方式

以下利用附图详细说明本公开的实施方式。

图1是说明本实施方式的机器人控制装置的基本概念的图。这里例示了以机械臂来处理对象物体时的“环境·状况的范围”。在本图中“不可”例示出机械臂不能工作的“环境·状况的范围”。

如该图中所示，在实施方式的机器人控制装置中，使用“不失败的、能够工作的环境·状况的范围”的概念。换言之，按照每个工作目的以及工作控制，自动算出“不失败的、能够工作的环境·状况的范围”，并且个别管理各个工作控制。

在这里环境·状况是指，对象物体以及其周围的物体的种类、放置的方法、状态、以及地点的环境等。由各种物体的种类、位置关系、状况等组成，所以在概念上成为多维的空间。此外，根据工作，机器人自身的形状以及姿势，也可以包括在环境·状况中。此外在考虑了多个机器人的协调工作的情况下，各个机器人的位置关系·姿势关系，也包括在环境·状况中。

另外，在本实施方式中，以机械臂为例子进行了说明，但是实施方式涉及的机器人控制装置，不依赖于机器人的形状以及结构，能够适用于所有种类的机器人。此外，在图1中表示“能够工作”的程度的信息是“可”/“不可”的二值，但是不限于此，也可以是在0～1的范围内的概率等的模拟值。

图2是示出实施方式的机器人控制装置的基本概念的详细的图。如该图所示，在实施方式涉及的机器人控制装置中，每一个工作目的，与一个以上的工作控制对应。各个工作控制都是个别地管理并且独立的。

在图2的(a)中例示了关于工作目的A(例如移动物体)的环境·状况的概念空间。在这个例子中，在能够工作的环境·状况范围A1中，能够进行工作控制A1。在能够工作的环境·状况范围A2中，能够进行工作控制A2。在能够工作的环境·状况范围A3中，能够进行工作控制A3。

在图2的(b)中例示了关于工作目的B(例如变更物体的姿势)的环境·状况的概念空间。在这个例子中，在能够工作的环境·状况范围B1中，能够进行工作控制B1。在能够工作的环境·状况范围B2中，能够进行工作控制B2。在能够工作的环境·状况范围B3中，能够进行工作控制B3。

在实施方式涉及的机器人控制装置中，如图2所示考虑不失败的范围，一个以上的工作控制，与一个以上的工作目的对应。此外，也可以是一个工作控制，与多个工作目的对应的形式。一个工作控制，以某种理由有时能够达成不同的多个工作目的等。

在此一个工作控制是指，机器人通过传感器对周围的物体进行感测，随着与其他的物体的交互作用(interaction)，达成工作目的的一个或者多个的控制处理(控制程序)。而且，实施方式涉及的机器人控制装置所具备的ML模型(Machine Learning模型，机器学习模型)进行评价的对象即工作控制，不是由一个移动方向矢量以及一个目标位置来决定的“单纯原始的动作”，而是由机器人通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制(以下称为“随着感测·交互作用达成工作目的处理”)。从而，(1)实现确实工作的机器人控制，(2)对各个工作控制在什么样的状况范围内能够达成工作目的(各个工作控制的工作成立的状况的范围)进行处理，从而起到对工作控制高度地进行管理的效果。

另外，机器人进行的“与其他的物体的交互作用”，不仅包括机器人与其他的物体在物理上接触的情况，而且作为代替，或者在此之上还可以包括机器人与其他的物体为非接触的关系性的情况。非接触的关系性可以包括空间上的关系性(位置或距离成为规定的关系)、存在的关系性(机器人识别出物体存在)、通信的关系性(机器人与物体通过无线等相互通信)等。

此外，“随着感测·交互作用达成工作目的处理”是指，例如，将来自传感器的结果利用为反馈信息，达成工作目的的原始的工作的连续，典型的是，能够以依存于感测的结果而决定的“动作”的系列来表现。

另外，“动作”包括手臂的动作、手臂的工作、手的动作、手的工作、手部及手的工作、姿势、姿势控制、身体部分的动作、脚的部分的动作等。

此外，作为工作目的与工作控制的关系的想法，可以是“工作控制是为了实现‘工作目的’而组建的逻辑(换言之，处理顺序、算法)，工作目的是通过该工作控制单体而实现的效果(换言之通过该一个工作控制的执行所期待的效果、使用工作控制单体时的用途、或该工作控制自身的达成目的)”。或者，也可以是“工作目的并非是聚集了多个工作控制的一连串的工作控制、或工作控制的集合来实现/期待的效果”。此时，多个工作控制，可以由控制内容不同的多个工作控制来构成，也可以由控制内容相同的多个工作控制来构成，也可以是控制内容不同的多个工作控制和控制内容相同的多个工作控制混合在一起来构成。

此外，在工作控制以及机器人控制装置进行的处理整体中，使用了逻辑、指令值、静态参数的相当于如下形式的概念。逻辑是处理的内容以及算法、处理顺序、或处理例程，在机器人控制装置执行中通常不发生变化。指令值是被逻辑地给予的值、或被逻辑地给予的参数，是在机器人控制装置的执行时取各种不同的值，被逻辑地给予的值、指令、或作为指示逻辑地给予的值。指令值，除了指令的内容在机器人控制装置的设置时已经被决定的情况，在通常情况下，机器人控制装置在执行时，按照所处的状况，来决定以什么样的顺序执行什么样的指令，换言之成为什么样的值。静态参数是被逻辑地给予的参数，但是与指令值不同，通常在机器人控制装置执行时不变更，是相同的值。通常是如下的值，不是在执行时，在机器人控制装置的执行时以外的机器人控制装置的维护调整的定时等，处理顺序(换言之逻辑、算法)不变更，但是在对处理的效果进行调整/微修改时进行微调整的值、或微调整的参数。此时，工作控制相当于逻辑、或逻辑与静态参数的组合，不包括指令值。此外，指令值相当于工作目的、或附随于工作目的的信息(关于此没有写在图3中)。此外，将逻辑、或逻辑和静态参数的组合相同的工作控制，作为一个工作控制来执行，例如不会根据指令值的不同而设置多个工作控制。此外，此时作为本公开的处理整体，相当于“输入工作目的、或工作目的和指令值，从检测部获得状况信息，从那些工作目的和(指令值和)状况信息中，选择工作控制(逻辑、或逻辑和静态参数的组合)”的形式。或者作为本公开的机器人控制装置进行的处理整体，也可以“不是从检测部获得状况信息，从状况信息选择指令值这样的形式(排除那样的形式)”。

此外，工作目的可以是排列为固定的多个一连串的工作控制来实现的效果。在这里，排列为固定的多个一连串的工作控制，可以视为单一的工作控制。此外，排列为固定的多个一连串的工作控制，在那些工作控制的排列为不同的情况下，可以视为达成了不同的工作目的。

图3是示出实施方式的机器人控制装置10的结构的方框图。机器人控制装置10是控制机器人的装置，由如下来构成：工作目的输入部12、检测部14、工作控制选择部16、工作控制执行部18、描述了与各个工作目的对应的工作控制的能够工作的状况范围ML(机器学习)模型20、工作控制的集合22、工作目的·工作控制的设计规格值·实际机器工作值·经验法则·工作控制·成立判断基准·工作基本状况等的各种信息输入部24、状况数据和成立可否数据配对生成部26、物理模拟部28、以及能够工作状况范围确认部30。机器人控制装置10，具有记述了按每个工作控制的能够工作状况范围的模型(ML模型20)，将学习该模型的数据样品，根据工作控制的设计规格值、实际机器工作值，经验法则及物理模拟器(物理模拟部28)等来获得。针对该处理，不依赖于工作控制的内容，自动地进行。

工作目的输入部12是获得至少一个工作目的，输出给工作控制选择部16的处理部，例如从外部获得信息的通信接口等。

检测部14是从机器人的周围的物体或机器人的(1)包括物理结构以及形状的物理特性、(2)关于按照时间能够变化的特性即位置、姿势或温度的当前的状态，(3)关于物理特性或当前的状态的与其他的物体之间的相对关系、以及(4)对物理特性或当前的状态进行组合的信息即状况信息中，获得任意的状况信息，输出给工作控制选择部16的处理部，例如相机、加速度传感器等。此外，在状况信息中，除了上述以外，还可以处理/包括有关以下状态的信息。例如包括光(照明、影子)、大气、声音、语音、此外针对物体以及人和动物的外观和样子，利用相机来处理或者直接对物体和人进行询问而获得的信息，即物体拥有的信息、物体的内部状态、周围的人和动物的心理和感情和想法和考虑的内容和习惯、周围的人和动物和装置保持的某种方法以及顺序等的信息。

ML模型20是将状况信息作为输入，输出输出值的模型，该输出值是示出对ML模型20给予的工作控制在被输入的状况信息所示的状况下，工作是否成立以及工作成立的程度的二值或连续值或多维矢量值，例如是利用图7稍后描述的DNN(Deep Neural Network)，以及与DeepLearning有关的模型。另外，“示出工作是否成立以及工作成立的程度的二值或连续值或多维矢量值”，不仅是直接的数值表现，例如，也可以是与其他的要素相接合的数值即间接地表现工作是否成立以及工作成立的程度的间接的数值表现，也可以是以人不能理解内容的形式来表示工作是否成立以及工作成立的程度的数值表现等，也可以不是数值表现而是文字形式。此外，也可以是包括随机森林的决策树，包括贝叶斯网络的贝叶斯估计方法，通过概率理论的统计模型等。此外也可以是这些以外的某种“能够说明的模型”等，就是将被模型化的内容，能够作为并非完全但是某种程度上人能够理解的形式的模型。

此外，ML模型20可以输出被输入的状况信息是否与工作控制正确地工作/成立的状况一致。

此外，如图10所示，ML模型20可以输出在被输入的状况信息所示的状况中，工作控制是否按照旨意来工作。图10是用于说明实施方式的ML模型20的图。

此外，ML模型20输出的工作是否成立以及工作成立的程度，不仅是表示工作控制的工作是否勉强成立的状况的程度的值，也可以是确实充分成立的程度。换句话说针对被输入的状况是否为不失败确实充分成立的状况，进行表示的程度。或者，即使是充分检测/观测了状况的状态下，依然存在很小的不能检测/观测的不可靠性以及内部状态，不能完全排除必定留下一点，然而其很小，即使考虑了该不可靠性以及内部状态，通过获得的状况信息，能够充分判断为工作控制能够充分成立的状况的程度，ML模型20可以输出该程度。

工作控制的集合22是机器人能够执行的1个以上的工作控制的集合，换言之是能够由工作控制选择部16确定(即选择)的工作控制的候选，例如，在存储器中存放的控制处理的集合。

工作控制选择部16是处理部，在从工作目的输入部12输入工作目的，从检测部14输入状况信息时，对ML模型20给予状况信息，从而获得与至少一个工作控制的每一个对应的输出值，根据获得的输出值，从工作控制的控制22中确定(即选择)应该执行的工作控制，将确定的工作控制通知给工作控制执行部18。

工作控制执行部18是执行由工作控制选择部16确定的工作控制的处理部。工作控制执行部18，可以是将从检测部14获得的状况信息14a，经由工作控制选择部16来接收，利用该值执行工作控制的形式(图3，图8，图9)，与此不同，也可以在从检测部14获得的状况信息14a之外，例如将与状况信息14a不同的表现形式的值以及不同的传感器的传感器值、以及来自外部设备的信息等的状况信息14a以外的信息，按照各个工作控制而独自地接受，利用这些的值与状况信息14a、或利用这些的值来执行工作控制的形式。

各种信息输入部24是获得工作目的、工作控制的设计规格值、实际机器工作值、经验法则、工作控制、成立判断基准、工作基本状况等各种信息，输出给状况数据和成立可否数据配对生成部26的处理部，例如从外部获得信息的通信接口等。

状况数据和成立可否数据配对生成部26是作为ML模型的学习数据来生成关于工作控制的状况数据和成立可否数据配对的学习数据生成部的一例，所述状况数据和成立可否数据配对，根据(1)设计规格值、(2)实际的机器人的工作结果、(3)人的经验法则、或者(4)在物理模拟器(物理模拟部28)内的工作结果而被生成。状况数据和成立可否数据配对生成部26，在利用物理模拟器(物理模拟部28)生成状况数据和成立可否数据配对的情况下，对物理模拟器除了给与工作控制，还给予对在工作控制中什么样的状态为工作控制的工作成立的状态进行定义的条件，在物理模拟器内对示出环境的状况信息进行各种变化并执行工作控制，对工作是否成立进行测试，将测试的结果，作为状况数据和成立可否数据配对来生成。

物理模拟部28是代替机器人，通过模拟来执行被给予的工作控制，反馈执行的结果的处理部。

能够工作状况范围确认部30是对各个工作控制的ML模型20(在前处理中已经学习)进行调查，对某个工作目的以及某种状况下，调查与怎样的工作控制建立对应，以及是否与任何工作控制都没有建立对应，如果有必要时制作新的工作控制，以“前处理”的顺序建立对应的处理部。

另外，上述机器人的各个构成要素，可以通过用于保持程序以及数据的存储器、以及执行程序的处理器等以软件形式来实现，也可以通过半导体集成电路等电子电路以硬件形式来实现。具备这样的构成要素的机器人控制装置10，其全部或者一部分构成要素，可以安装在机器人的内部，也可以配置在能够与机器人通信的机器人外部的装置内。

此外，在实现工作控制(换言之，工作控制的安装、实际在现实中能够执行的形式的处理的具体体现)时也使用机器学习模型的情况下，可以将用于实现工作控制的机器学习模型(以后称为工作控制用的机器学习模型)和ML模型20，统合为一个机器学习模型。例如是，在工作控制用的机器学习模型的输入的种类，与ML模型20的输入的种类相同的情况下，作为共同的输入将那些种类的输入设在机器学习模型中，并且分别设置了工作控制用的输出与ML模型20用的成立可否用的输出的形式的1个机器学习模型等。换言之ML模型20不限于特定的物理的结构，例如作为其他的例子，可以是按每个工作目的而分别不同的机器学习模型，也可以是按每个工作控制而分别不同的机器学习模型，也可以是与多个工作目的对应的单一的机器学习模型，也可以是与多个工作控制对应的单一的机器学习模型。

此外，检测部14、工作选择部16、工作控制的集合22、工作控制执行部18等构成机器人控制装置10的除了ML模型20以外的功能部，也可以由机器学习模型来构筑，此外也可以将多个功能部由一个机器学习模型来构筑。因此，构成机器人控制装置10的全部或者一部分功能部，可以由一个或者多个机器学习模型来构筑。

此外，在是按每个工作控制而不同的机器学习模型的情况下，各个机器学习模型的输入以及输出，可以不是相同的形式。

此外，在不是按每个工作控制而不同的机器学习模型，而是单一模型的结构中，针对工作的追加和修改的模型输出的对应，可以说明为如下两种。

(1)“以模型结构为固定，仅变更输出值的形式，进行工作控制的追加以及状况范围的修改的对应的模型，以针对与学习对象的工作控制以外的工作控制有关的输出值不带来影响或者只稍微影响的方法，来学习与对象的工作控制有关的模型的学习的模型”，使用该模型的情况下，模型的输出，例如成为多维矢量，工作控制的追加，以输出新的模式的输出值的形式进行学习。

(2)“以模型结构的变更扩展和输出值的变更的形式，进行工作控制的追加以及状况范围的修改的对应的模型，以针对与学习对象的工作控制以外的工作控制有关的输出值不带来影响或者只稍微影响的方法，来学习与对象的工作控制有关的模型的学习的模型”，使用该模型的情况下，例如作为模型结构，追加新的工作控制用的输出算出部等，使输出值的算出结构发生变化，进行新的工作控制追加。

另外，接下来为了说明简化，设想为按每个工作控制，机器学习模型分别不同的情况来进行叙述。

图4是说明实施方式的机器人控制装置10进行的前处理的图。这里针对图3示出的方框图中，只示出与前处理有关的框图。

为了使用的工作控制中的ML模型20的学习，在状况数据和成立可否数据配对生成部26中，生成大量的学习用的数据即状况数据和成立可否数据配对。生成是指如下，根据该工作控制的设计规格值以及实际机器的工作值、工作控制制作者的经验法则等，在各种状况下生成表示在什么样的状况下工作是否成立的状况数据和成立可否数据配对，或者将工作控制以及工作是否成立的判断基准，并且使其工作时的基本的(有代表性的)状况，输入到物理模拟部28，使工作控制在各种状况下工作的结果为基础来生成。

图5是说明实施方式的机器人控制装置10的工作(工作控制)的图。在这里从图3示出的方框图中，只示出与机器人控制装置10的工作(工作控制)有关的框图。

工作控制选择部16，针对与从工作目的输入部12输入的工作目的对应的、状况范围的抽象模型(存在的ML模型20的数量是与工作目的对应的工作控制的数量相同)，输入从检测部14获得的当前的状况数据，确认各个ML模型20的输出(从ML模型20输出推理值，该推理值表示对应的工作控制能否进行)。

工作控制选择部16，根据ML模型20的输出值，判断在当前的状况下，哪一个工作控制的工作能够进行(另外，也存在多个工作控制的工作能够进行的情况。范围重复时)，从工作控制的集合22，选择工作控制。而且，工作控制执行部18执行被选择的工作控制。换言之，将当前状况输入到ML模型20，对是否失败进行推理，采用估计为不失败的工作控制并执行。

此外可以是，工作控制选择部16进行这样的形式的处理，根据工作目的或者工作目的和上述的指令值，先选择对应的工作控制的候选，之后利用机器学习模型，判断该候选中的哪一个是否成功，利用该判断结果和工作目的和指令值中的任一个来选择工作控制。

图6是说明实施方式的机器人控制装置10的维护/评估验证时的处理的图。在这里从图3示出的方框图中，只示出与维护/评估验证有关的框图。

能够工作状况范围确认部30，调查各个工作控制的ML模型20(在前处理中已经学习)，针对在某个工作目的以及某个状况下，与什么样的工作控制建立对应，以及与任何工作控制都没有建立对应进行调查，如果有必要时重新制作工作控制，以“前处理”的顺序建立对应。

此外，在想要改善某个工作目的以及某个状况下的工作控制的情况下，能够工作状况范围确认部30对与该状况建立对应的工作控制进行判断(调查)，针对该工作控制进行修改。工作控制按照能够工作的状况范围被完全地分离(即各个工作控制是独立的)，所以修改对其他的工作控制没有影响。

这样对在某个状况下是否恰当地工作进行确认的情况下(检查1)，通过能够工作状况范围确认部30，对ML模型20的输出进行确认来进行。此外，想要改善在某个状况下的控制的情况下(检查2)，可以通过能够工作状况范围确认部30，看ML模型20来修改对应的工作控制。

图7是示出实施方式的机器人控制装置10具备的ML模型20的具体例的图。在本实施方式中，ML模型20，采用被称为Three Dimensional Convolutional Neural Network(三维卷积神经网络)的DNN(Deep Neural Network：深度神经网络)。DNN，将空间中的各个位置上有无物体，物体的种类等作为输入，输出是否能够工作(可/不可)。或者，也可以是与DeepLearning有关的某种模型。

如上所述，本实施方式涉及的机器人控制装置10，满足用于实现机器人控制的以下4个必要条件1～4的全部。

·必要条件1：能够进行符合广泛的环境、状况的灵活的控制。

对于此，通过本实施方式的机器人控制装置10，可以组合多个工作控制，此外对控制方法的种类没有限制，所以是可能的。

·必要条件2：能够进行考虑了物理上的现象(对象物体对其他物体的干扰。例如推、摩擦、对齐、重心平衡等)的控制。

对于此，通过本实施方式的机器人控制装置10，由物理模拟来进行判断，所以是可能的。

·必要条件3：执行工作的各个控制处理(以后称为工作控制)成立(即，以达成目的的方式工作)的环境·状况的范围，能够明确化。

对于此，通过本实施方式的机器人控制装置10，对能够工作的状况范围进行模型化，所以是可能的。从而，对工作成功的控制处理进行判断，工作的成立的“保证”、质量保证、工作保证成为可能，可以进行高度的工作管理。

·必要条件4：能够对各个工作控制，个别地进行调整。

对于此，通过本实施方式的机器人控制装置10，按照每个能够工作的状况范围，个别地进行工作控制，所以是可能的。

另外，本实施方式的机器人控制装置10作为对象的机器人，与工厂等的机器人不同，是在广泛的环境以及各种状况、未知的地点中使用。因此，动作的控制处理的执行中，有时会处于不顺利的状况，可以想到有时会引起“错误工作”。通过错误工作，可以想到使物体破损，或者使周围的人受伤，需要避免发生这些事情。此外，还可以想到人(大人以及孩子)，在机器人的周围突然进行不能预测的行动，对于机器人成为预期外的状态，结果来说对那个人造成危害。

此时可以这样考虑。本实施方式的机器人控制装置10，能够成为机器人的动作的控制处理的“安全装置”、“安全机构”或“联锁装置(interlock)”。本实施方式的机器人控制装置10的机器学习模型20，在此时的环境·状况下，输出该工作控制成立，换言之按照旨意工作、还是工作控制不成立，换言之不按照旨意工作。而且，通过本实施方式的机器人控制装置10，能够确保该控制处理，在不按照旨意工作的环境·状况下，不执行该控制处理(参考图10)。

另外，在所述实施方式中，如图5所示，向工作控制选择部16输入了工作目的以及状况信息，但是也可以向ML模型20输入工作目的以及状况信息、或工作目的以及状况信息以及指令值(未图示)。图8是说明实施方式的第1变形例的机器人控制装置10a的工作(工作控制)的图。在该第1变形例中，ML模型20是与多个工作控制对应的单一的机器学习模型。ML模型20，从工作控制选择部16给予工作控制时，在被输入的状况信息14a所示的状况下，将关于被给予的工作控制是否能够达成被输入的工作目的12a的输出值，返还给工作控制选择部16。工作控制选择部16，根据针对多个工作控制的各自的来自ML模型20的输出值，选择一个工作控制22a。

此外，在所述实施方式中，如图3所示，工作控制选择部16与ML模型20是不同的处理部，但是这些工作控制选择部16与ML模型20，可以合并为一个。图9是说明实施方式的第2变形例的机器人控制装置10b的工作(工作控制)的图。在该第2变形例中，ML模型20a，具有将实施方式中的工作控制选择部16与ML模型20结合起来的功能。换言之，ML模型20a，针对多个工作控制的各自，在被输入的状况信息14a所示的状况下，对是否能够达成被输入的工作目的12a进行评估，根据该评估结果，选择一个工作控制22a。这样的ML模型20a，例如能够由具有相当于工作控制选择部16的中间层的DNN来实现。

此外，在所述实施方式中，如图2所示存在多个工作目的，针对多个工作目的各自，存在能够达成工作目的的多个工作控制，但是不限于这样的构成，可以是作为整体工作目的为一个，也可以是能够达成一个工作目的的工作控制为一个。在工作目的是一个的情况下，就不需要工作目的输入部12。即使工作目的是一个，与该工作目的对应的工作控制存在多个的情况下，利用ML模型20选择一个工作控制是有意义的。

此外，即使与某个工作目的对应的工作控制为一个时，利用ML模型20，对是否执行该一个工作控制进行判断是有意义的。在判断为不应该执行的情况下，可以结束那时的处理例程，也可以将那时的状况信息传递给上位的计算机装置，使处理进行变更。这与作为所述的“安全装置”或者“安全机构”的工作相对应。

在状况信息的生成、获得中，除了利用检测部14来获得状况信息的形式以外，也可以是计算未来的状况信息来获得状况信息的形式，也可以是接受由其他的机器人的检测部获得的状况信息，来获得状况信息的形式，也可以是保持过去的状况信息，在时间经过后参照的形式，也可以是直接从那个物体以及人传递针对询问的回答等的形式。通过这些，能够获得更加广泛的范围的各种观点的状况信息。

此外，也可以是由机器学习模型、工作控制、或新功能部，将与工作控制有关的某种信号发送给检测部14，由检测部14进行以该信号为基础，考虑该工作控制的特性的更高度的检测。例如，某个工作控制由于与周围的物体的位置关系的微妙的差异，工作是否成立发生变化的情况下，检测部14可以进行关注该微妙的位置关系的检测。从而在该工作控制的工作是否成立的判断中，能够获得更加有效的状况信息。

通过上述，能够使由机器学习模型输出的工作是否成立以及工作成立的程度，针对状况更加精密地输出，或者更加正确地输出。

本公开能够作为一种机器人控制装置来利用，尤其是作为既能够实现与广泛的环境、状况对应的灵活的控制，并且能够分别个别地管理以及修改与各个状况对应的工作的控制的机器人控制装置来利用。

符号说明

10，10a，10b 机器人控制装置

12 工作目的输入部

12a 工作目的

14 检测部

14a 状况信息

16 工作控制选择部

18 工作控制执行部

20，20a ML(机器学习)模型

22 工作控制的集合

24 各种信息输入部

26 状况数据和成立可否数据配对生成部

28 物理模拟部

30 能够工作状况范围确认部

Claims (5)

1.一种机器人控制装置，用于控制机器人，

所述机器人控制装置，具备：

机器学习模型，将所述机器人的周围的物体或所述机器人的如下状况信息之中的任意的状况信息作为输入，并输出输出值，所述状况信息是指(1)包括物理结构以及形状的物理特性、(2)关于按照时间能够变化的特性即位置、姿势或温度的当前的状态、(3)关于所述物理特性或所述当前的状态的与其他的物体之间的相对关系、以及(4)对所述物理特性或所述当前的状态进行组合的信息，所述输出值是示出对所述机器学习模型给予的工作控制在被输入的所述状况信息所示的状况下，工作是否成立以及工作成立的程度的二值或连续值或多维矢量值；

工作控制选择部，在被输入所述状况信息时，对所述机器学习模型给予所述状况信息，从而获得与至少一个工作控制的每一个对应的所述输出值，根据获得的所述输出值，确定应该执行的工作控制；以及

工作控制执行部，执行由所述工作控制选择部确定的所述工作控制，

所述工作控制是指，所述机器人通过传感器对周围的物体进行感测，随着与其他的物体的交互作用，达成工作目的的控制处理，

所述机器学习模型如果被给予所述状况信息，则输出与所述至少一个工作控制的每一个对应的所述输出值，所述至少一个工作控制的每一个不是由一个移动方向矢量或者一个目标位置来决定的单纯原始的动作，而是将来自所述传感器的结果利用为反馈信息来达成所述工作目的的原始的工作的连续。

2.如权利要求1所述的机器人控制装置，

所述状况信息至少包括所述物体的绝对位置、相对位置、姿势、形状、种类的其中之一。

3.如权利要求1或2所述的机器人控制装置，

所述机器人控制装置还具备学习数据生成部，所述学习数据生成部，作为所述机器学习模型的学习数据来生成关于工作控制的状况数据和成立可否数据配对，所述状况数据和成立可否数据配对，根据(1)设计规格值、(2)实际的机器人的工作结果、(3)人的经验法则、或者(4)在物理模拟器内的工作结果而被生成。

4.如权利要求3所述的机器人控制装置，

所述学习数据生成部，在利用所述物理模拟器生成所述状况数据和成立可否数据配对的情况下，对所述物理模拟器除了给与工作控制，还给予对在所述工作控制中什么样的状态为所述工作控制的工作成立的状态进行定义的条件，在所述物理模拟器内对示出环境的状况信息进行各种变化并执行所述工作控制，对工作是否成立进行测试，将所述测试的结果，作为所述状况数据和成立可否数据配对来生成。

5.如权利要求4所述的机器人控制装置，

所述学习数据生成部，在利用所述物理模拟器对工作是否成立进行测试时，至少确定一个示出给予的工作控制的工作成立的环境的状况信息，以确定出的至少一个所述状况信息为起点，扫描示出要测试的环境的状况信息。

Images