CN111684474A - 运算装置、运算方法及其程序 - Google Patents

运算装置、运算方法及其程序 Download PDF

Info

Publication number
CN111684474A
CN111684474A CN201980012029.2A CN201980012029A CN111684474A CN 111684474 A CN111684474 A CN 111684474A CN 201980012029 A CN201980012029 A CN 201980012029A CN 111684474 A CN111684474 A CN 111684474A
Authority
CN
China
Prior art keywords
output
unit
input data
learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980012029.2A
Other languages
English (en)
Other versions
CN111684474B (zh
Inventor
林剑之介
柴田义也
伴野裕
齐藤千智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111684474A publication Critical patent/CN111684474A/zh
Application granted granted Critical
Publication of CN111684474B publication Critical patent/CN111684474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种使参数通过机器学习而变动的模型与参数固定的模型的特征互补的技术。本发明包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出；第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对输入数据进行与规定的处理相关的运算，并输出第二输出；以及比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出。

Description

运算装置、运算方法及其程序
技术领域
本发明涉及一种运算装置、运算方法及其程序。
背景技术
当前，对生产线等中所使用的机器人等装置使用人工智能(ArtificialIntelligence，AI)技术，由此可更高精度地进行适当的路径规划的制作、拾放(pick andplace)的动作、缺陷的检测等。通过使用AI技术，机器人等装置可通过学习来提升进行规定的控制或判定等的运算时的处理能力。
另外，在专利文献1中公开有一种方法，其在进行水处理工艺或化学工艺等对随着时间而变化的现象进行处理的工艺的运转支援时，通过机器学习来求出用于使控制对象变成目标状态的控制变量值。在专利文献1中记载的方法中，针对通过机器学习所生成的神经电路模型(学习完成模型)，输入未学习的模式来求出工艺的控制变量值。
现有技术文献
专利文献
专利文献1：日本专利特开平7-319508号公报
发明内容
发明所要解决的问题
但是，在如专利文献1中记载的以往的方法中，在学习结束，且获得控制变量值(参数)之前无法使用学习完成模型，因此在实际进行必要的控制等的运算之前需要时间。另外，例如若缺陷检查中的照明条件、使机器进行规定的作业时的机器的温度特性、机械手周边的障碍物的位置变动等使用学习完成模型的环境变动，则有时针对未学习的模式获得未意图的输出结果。为了针对此种环境的变动，获得适当的输出结果，必须对此种未学习的模式进行再学习，更新参数。在此情况下，在再学习结束之前也无法使用学习完成模型。
另一方面，学习完成模型进行对于新的模式的学习，由此可适应未学习的模式，其结果，存在如下的情况：所生成的模型与人所构建的模型或即便是学习完成模型，但以构建一次后无法进行对于新的模式的再学习的方式构成的模型(以下也称为“经固定化的模型”)相比，例如在执行时的运算时间或输出结果等方面优异。此处，所谓输出结果，例如是指缺陷检查的检测精度、机器的动作的顺畅度、机械手的关节的最大扭矩的减少等。另外，此种课题并非将AI技术应用于机器人等装置时特有的课题，也可能在可通过学习来谋求能力提升的AI技术中普遍产生。
本发明是鉴于所述情况而形成的发明，其目的在于提供一种使参数因机器学习而变动的模型与参数经固定化的模型的特征互补的技术。
解决问题的技术手段
为了解决所述课题，本发明采用以下的结构。
本发明的一实施例的运算装置包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出；第二运算部，利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行与规定的处理相关的运算，并输出第二输出；以及比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出。在所述结构中，运算装置通过灵活地切换来利用两种运算部，在未学习的环境中使用第二运算部，由此即便是正在学习，也可以继续作业。另一方面，在学习完成的环境中使用第一运算部，由此例如在执行时的运算时间或输出结果、生成成本等方面可获得更优异的结果。另外，所谓“未学习的环境”，是指在此环境中，第一运算部无法以规定的基准值以上的性能运行的环境。例如为第一运算部的学习未结束的状况、或第一运算部正在进行再学习的状况、第一运算部的输出并非所意图的输出的状况等。另一方面，所谓“学习完成的环境”，是指在此环境中，第一运算部能够以规定的基准值以上的性能运行的环境。例如为第一运算部的学习已结束的状况等。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
另外，所述运算装置也能够以还包括学习部的方式构成，所述学习部学习第一模型的参数，并将已学习的所述参数设定在第一模型中。另外，学习部也能够以根据第二输出来学习第一模型的参数，并将已学习的所述参数设定在第一模型中的方式构成。在此情况下，运算装置可在用于学习设定在第一运算部中的参数的学习数据中使用第二运算部的运算结果，因此可使学习数据的变化更多样化。
另外，所述比较部能够以如下方式构成：输出第二输出，直至在学习部中第一模型的参数的学习结束为止。由此，在未学习的环境中使用第二运算部，由此即便是正在学习，也可以继续作业。
另外，所述运算装置也能够以还包括环境变动识别部与切换部的方式构成，所述环境变动识别部检测第一运算部对于所述输入数据是否学习完成，并生成表示利用第一运算部及第二运算部中的哪一个的切换信息，所述切换部根据切换信息，对将输入数据输入至第一运算部及第二运算部中的哪一个进行切换。进而，所述环境变动识别部也能够以如下方式构成：根据第一运算部进行输入数据的运算时的前提条件是否有变更，判断第一运算部对于输入数据是否学习完成。
本发明的一实施例的运算装置包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对包含机器人的初期姿势与目标姿势的输入数据进行路径规划，将在所述路径规划中所生成的路径作为第一输出来输出；第二运算部，利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行路径规划，将在所述路径规划中所生成的路径作为第二输出来输出；比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、所述第二输出、或由第一输出及第二输出组合而成的第三输出；以及控制部，对应于比较部的输出，从初期姿势朝目标姿势控制机器人。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
本发明的一实施例的运算装置包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄有机器人握持的对象物的图像的输入数据进行图像分析，将分析结果作为第一输出来输出；第二运算部，利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行图像分析，将分析结果作为第二输出来输出；比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出；以及控制部，对应于比较部的输出，以握持对象物的方式控制所述机器人。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
本发明的一实施例的运算装置包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄有检查对象的图像的输入数据进行图像分析，将作为判定所述检查对象中有无缺陷的结果的判定结果作为第一输出来输出；第二运算部，利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行图像分析，将判定结果作为第二输出来输出；比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出；以及提示部，对应于比较部的输出，提示检查对象中有无缺陷。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
本发明的一实施例的运算装置包括：第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为光学测量器为了测量至距离已知的目标物为止的测距距离而发送的光学信号的输入数据进行图像分析，将光学信号所示的测距距离与已知的至目标物为止的距离的误差作为第一输出来输出；第二运算部，利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据算出测距距离，将与至目标物为止的距离的误差作为第二输出来输出；比较部，根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出；以及提示部，对应于比较部的输出，提示光学信号所示的测距距离与已知的至目标物为止的距离的误差。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
本发明的一实施例的程序使计算机作为如下的部件发挥功能：利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的部件；利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行与规定的处理相关的运算，并输出第二输出的部件；以及根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出的部件。由此，本发明的程序可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
本发明的一实施例的运算方法使计算机执行如下的步骤：利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的步骤；利用输入数据与输出数据的对应关系经固定化的第二模型，对输入数据进行所述与规定的处理相关的运算，并输出第二输出的步骤；以及根据以规定的判定基准将第一输出与第二输出进行比较所得的比较结果，输出第一输出、第二输出、或由第一输出及第二输出组合而成的第三输出的步骤。由此，本发明的运算装置可使参数因机器学习而变动的模型与参数经固定化的模型的特征互补。
发明的效果
根据本发明，可提供一种使参数因机器学习而变动的模型与参数经固定化的模型的特征互补的技术。
附图说明
图1是表示本发明的应用例的示意图。
图2是用于说明路径规划的运算方法的图。
图3是表示第一实施方式的机器人系统的系统结构例的示意图。
图4是表示第一实施方式的运算装置的硬件结构的示意图。
图5是表示第一实施方式的运算装置的功能结构的示意图。
图6是用于说明学习数据的概要的图。
图7是用于说明学习数据的概要的图。
图8是用于说明进行学习的处理的图，所述学习划分进行采样的区域。
图9是用于说明对构形空间(configuration space)设定区域的处理的图。
图10是用于说明第一实施方式的运算装置的处理的一例的流程图。
图11是表示第三实施方式的缺陷判定系统的系统结构例的示意图。
图12是表示第三实施方式的运算装置的功能结构的示意图。
图13是表示第四实施方式的运算装置的功能结构的示意图。
具体实施方式
以下，根据附图对本发明的一实施例的实施方式(以下也表述成“本实施方式”)进行说明。但是，以下所说明的实施方式在所有方面只不过是本发明的例示。当然可在不脱离本发明的范围的情况下进行各种改良或变形。即，在实施本发明时，也可以适宜采用对应于实施方式的具体结构。另外，通过自然语言来对本实施方式中出现的数据进行说明，更具体而言，由计算机可识别的拟语言(quasi-language)、指令、参数、机器语言(machinelanguage)等来指定。
§1应用例首先，一边参照图1，一边对应用本发明的场景的一例进行说明。图1是表示本发明的运算装置10的结构的一例的图。
本发明的运算装置10具有两个运算部，详细情况将后述。具体而言，具有：运算部(第一运算部113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的模型(第一模型)，进行规定的运算；以及运算部(第二运算部120)，利用输入数据与输出数据的对应关系经固定化的模型(第二模型)，进行与规定的处理相关的运算。此处，所谓“模型”，是指包含规定输入数据与输出数据的关系的函数，用于输出与某一输入数据对应的输出数据的所述函数通过软件或硬件、或者将它们组合来表达的模型。
输入数据与输出数据的对应关系例如由“参数”来决定。所谓“参数”，是指决定模型中所使用的函数的数值。具体而言，参数是决定通过模型来表达的函数的组合的数值、函数中所包含的变量、及函数中所包含的系数等中的至少任一个。在模型为神经网络的情况下，参数相当于节点间的权重系数及偏差，作为参数的权重系数及偏差因学习而变动(最佳化)。
即，所谓第一运算部113在运算中使用的模型，是通过使用学习用数据进行机器学习而导致参数变动，输入数据与输出数据的对应关系变动的模型。第一运算部113使用参数因机器学习而变动的第一模型，进行与针对输入数据的规定的处理相关的运算，由此将输出数据(第一输出)输出。另外，所谓第二运算部120在运算中使用的模型，是参数经固定化，输入数据与输出数据的对应关系不变动的模型。第二运算部120使用参数固定的第二模型，进行与针对输入数据的规定的处理相关的运算，由此将输出数据(第二输出)输出。
另外，“规定的处理”例如为多轴机器人的路径规划、或将进行拾放动作作为任务的机器人的控制、检查对象中有无缺陷的判定、测量至目标物为止的距离的测量器的校准等。
若将输入数据输入至运算装置10(步骤1)，则根据学习状况或周边环境的变动等，进行被输入输入数据的运算部的切换(步骤2)。例如，在设定在第一运算部113中的参数的学习未结束的情况，或即便是学习已结束的情况，因周边环境的变动或输入数据的种类的变动而导致输入数据的模式变成未学习的模式的情况下，将输入数据输入至第二运算部120。输入数据的模式是否为未学习是根据第一运算部113进行输入数据的运算时的前提条件是否有变更来判断。即，当进行输入数据的运算时的前提条件有变更时，针对输入数据的模式判断为未学习。另外，当进行输入数据的运算时的前提条件无变更时，针对输入数据的模式判断为学习完成(并非未学习)。作为前提条件有变更时的例子，例如可列举：输入数据中所包含的障碍物的位置已被变更的情况、输入数据中所包含的背景图像已被变更的情况、或测定了输入数据的环境已被变更的情况等。另外，此时也可以同时将输入数据输入至第一运算部113。另一方面，在学习完成的输入数据正被输入的情况下，将输入数据输入至第一运算部113。
运算装置10的运算结果对机器人等控制对象、评估运算结果是否适当的结果评估主体等的利用运算结果的对象输出(步骤3)。此处，所谓控制对象，例如为机器人，所谓结果评估主体，例如为用户或价装置等。另外，当使用评估装置时，所述评估装置可以设置在运算装置10的外部，也可以设置在运算装置10的内部。在将输入数据输入至1运算部113及第二运算部120两者，由此将输出数据从第一运算部113及第二运算部120两者输出的情况下，运算装置10根据使用规定的判定基准将第一运算部113的输出数据、与第二运算部120的输出数据进行比较所得的比较结果，输出第一运算部113的输出数据、第二运算部120的输出数据、或将第一运算部113的输出数据及第二运算部120的输出数据组合而成的输出数据。规定的判定基准是由第一运算部113及第二运算部120进行的处理时间和/或处理精度来决定的基准。根据从运算装置10输出的运算结果对控制对象进行控制的结果、或结果评估主体对运算结果进行评估的结果被反馈至运算装置10(步骤4)，用于第一运算部113所具有的模型的学习。所谓结果评估主体的评估结果，例如是根据机器人的动作等的运算结果比用户或评估装置等的预测短还是长等来进行。
如此，本发明的运算装置10通过灵活地切换来利用两种运算部，在未学习的环境中使用第二运算部120，由此即便是正在学习，也可以继续作业。另一方面，在学习完成的环境中使用第一运算部113，由此例如在执行时的运算时间或输出结果、生成成本等方面可获得更优异的结果。另外，所谓“未学习的环境”，是指在此环境中，第一运算部113无法以规定的基准值以上的性能运行的环境。例如为第一运算部113的学习未结束的状况、或第一运算部113正在进行再学习的状况、第一运算部113的输出并非所意图的输出的状况等。另一方面，所谓“学习完成的环境”，是指在此环境中，第一运算部113能够以规定的基准值以上的性能运行的环境。例如为第一运算部113的学习已结束的状况等。
§2结构例
[第一实施方式]
＜1.结构概要＞
在本实施方式中，作为本发明的一例，对针对具有多个驱动轴的多轴机器人的路径规划应用学习，削减路径规划的运算时间，并且生成顺畅且再现性高的路径的结构进行说明。
作为多轴机器人的自动的路径规划的方法，如后述那样，有作为随机采样法之一的概率路线图法(Rapidly-Exploring Random Tree，RRT)、作为路线图法之一的概率路线图(Probabilistic Road Map，PRM)等。这些方法是当被给予了初期姿势S、目标姿势G、作业条件C时，在进行路径规划的运算的空间内随机地配置点，将满足作业条件的点彼此连结，由此生成路径的方法。图2是表示使用多个维度中的特定的两个维度，通过初期姿势S、目标姿势G、作业条件C、点(由×表示)、将点连结所生成的路径(虚线或一点划线)来表示的图，所述多个维度构成进行路径规划的运算的空间。另外，针对通过将点相互连结形成所生成的路径，也可以进一步执行以平滑处理为代表的最佳化处理。此处，所谓进行路径规划的空间，例如可列举：具有机器人所拥有的驱动轴的个数的维度数的构形空间。
所述方法是在规定的空间内随机地配置点，从所配置的多个点中提取与机器人执行的作业的条件相符的点，继而将所提取的点相互连接，由此生成路径。即，当配置在构形空间内的点与图2中所示的障碍物发生干扰时，删除所述点，将不与障碍物发生干扰，即满足作业条件C的点相互连接，生成从初期姿势S至目标姿势G为止的路径。此时，与随机地在配置点的空间内进行全面搜索相比，搜索适合于路径的运算的空间内的区域在可削减路径规划的运算时间，且，可对顺畅且再现性高的路径进行运算方面优选。因此，在本结构例中，以将进行路径运算的空间划分成适合于路径的运算的区域的方式进行学习。
首先，一边参照图3及图4，一边对将本发明应用于相关的机器人系统1时的结构概要进行说明。图3是表示本实施方式的机器人系统1的结构的一例的图。如此图所示，机器人系统1包括运算装置10与机器人20。另外，如图3或图4所示，机器人系统1也可以包括拍摄装置30、角度检测装置40、输入装置50、输出装置60等。
运算装置10是根据在机器人20执行的作业的限制方面所规定的作业条件，对机器人20从初期姿势朝目标姿势移动的路径进行运算的装置。初期姿势是抓住放置在初期位置的对象物W时的机器人20的姿势。目标姿势是将对象物W放置在目标位置时的机器人20的姿势。另外，初期姿势、目标姿势可根据机器人20执行的作业内容而适宜设定。即，只要将用于对机器人20的路径进行运算的运行开始时的姿势设为初期姿势，将运行结束时的姿势设为目标姿势即可。例如，初期姿势可以是对路径进行运算时的机器人20的运行开始时的姿势，也可以是对路径进行运算的时间点的机器人20的姿势(当前姿势)。另外，例如，目标姿势可以是未握持对象物W的机器人20移动至放置有对象物W的位置为止的情况下的抓住对象物W时的姿势。
另外，作业条件可包含机器人20将对象物W从第一位置朝第二位置搬送时的条件。具体而言，作业条件也可以包含作为搬送时的条件的与对象物W的姿势相关的条件。在此情况下，作业条件例如可利用相对于水平方向的规定的角度范围来表示对象物W的姿势。通过给予与对象物W的姿势相关的限制作为作业条件，可防止搬送对象物W时上下反转等。
另外，作业条件也可以包含与配置机器人20的环境相关的条件。与环境相关的条件例如可表示存在机器人20的周边物(障碍物)的区域。在此情况下，作业条件表示禁止机器人20进入的区域。
另外，作业条件并不限定于所述例子，例如也可以包含与机器人20将对象物W从第一位置朝第二位置搬送时的速度相关的条件。进而，第一位置、及第二位置分别不限定于对象物W的初期位置、及目标位置，可为从开始对象物W的保持至结束对象物W的保持为止之间所包含的任意的位置。用于对路径进行运算的作业条件可对应于机器人20执行的作业而适宜设定。例如，在机器人20执行移动至某一目标姿势为止的作业的情况下，作业条件可为至移动至目标姿势为止的时间，移动至目标姿势时在驱动机器人20的致动器中产生的负荷等条件。
在本实施方式中，对作为运算结果的利用对象的机器人20输出经运算的路径。此处，表示将运算装置10作为与机器人20不同的框体来构成的例子，但并不限定于此，也可以设为将运算装置10与机器人20一体化的结构。另外，作为运算结果的路径也可以不必对真实的机器人20输出，例如也可以对模拟器输出。作为一例，也可以对后述的输出装置60输出机器人20的虚拟模型、及作为运算结果的路径，通过所述输出装置60来再现机器人20的动作。
另外，运算装置10只要至少包括后述的执行与路径的生成及输出相关的运算处理的运算部、存储用于执行所述运算处理的信息(包含程序、条件等)的易失性和/或非易失性的存储装置(包含存储部、存储器等)、用于获取所述信息并输出运算处理的结果的接口即可。即，运算装置10只要是执行所述各运算处理的专用或通用的信息处理装置就足够。另外，机器人系统1包含相当于运算装置10的结构，因此只要是包括执行所述各运算处理的结构的专用或通用的信息处理系统就足够。
＜2.硬件结构＞
参照图3对机器人20的硬件结构进行说明。机器人20例如为六轴垂直多关节机器人。如图3的例子所示，机器人20包括：基座21、第一连杆22、第二连杆23、第三连杆24、第四连杆25、第五连杆26、第六连杆27、以及末端执行器28。
基座21、第一连杆22～第六连杆27及末端执行器28通过可动轴而连接成一列，构成六轴垂直多关节机器人。另外，机器人20并不限定于六轴垂直多关节机器人，只要具有两个以上的可动轴即可。机器人20例如也可以是五轴垂直多关节机器人或七轴垂直多关节机器人。另外，机器人20并不限定于包含硬件的真实的机器人，也可以是模拟器等虚拟地构成的机器人。
末端执行器28是握持对象物W的机构。所述机构只要可握持对象物W即可，并不限定于图3的例子。例如，末端执行器28也可以是吸附对象物W来代替握持对象物W的吸附垫等，也可以是具有载置对象物W的平面的平板状构件。进而，末端执行器28也可以在悬挂对象物W的状态下握持对象物W。
拍摄装置30是用于拍摄被末端执行器28握持的对象物W的图像的装置。拍摄装置30例如为相机。拍摄装置30朝运算装置10发送被末端执行器28握持的对象物W的图像，在运算装置10中算出对象物W的初期位置或目标位置。或者，拍摄装置30也可以使用自身所具有的处理器对被末端执行器28握持的对象物W的图像实施图像处理，由此算出对象物W的初期位置或目标位置，并朝运算装置10发送。初期位置是由机器人20搬送的起点处的对象物W的位置。目标位置是由机器人20搬送的终点处的对象物W的位置。
另外，初期位置及目标位置分别可包含与对象物W的姿势相关的信息。而且，初期位置及目标位置分别可包含握持对象物W的末端执行器28的位置与姿势的至少任一者的信息。
另外，机器人系统1也可以具有角度检测装置40来代替拍摄装置30、或者不仅具有拍摄装置30也具有角度检测装置40。角度检测装置40检测被末端执行器28握持的对象物W的角度。角度检测装置40例如为加速度传感器、陀螺传感器。它们例如安装在末端执行器28。末端执行器28紧紧地握持对象物W。因此，角度检测装置40通过检测末端执行器28的角度，从而可检测对象物W的角度。角度检测装置40朝运算装置10发送经测量的对象物W的角度。另外，角度检测装置40所检测的对象物W的角度的基准并无特别限定。例如在将铅垂方向设为基准的情况下，角度检测装置40根据末端执行器28相对于铅垂方向的角度，检测对象物W的角度。
另外，角度检测装置40可以安装在对象物W，也可以安装在第一连杆22、第二连杆23、第三连杆24、第四连杆25、第五连杆26及末端执行器28的至少一者。例如，当将角度检测装置40分别安装在第四连杆25、第五连杆26及末端执行器28时，角度检测装置40测量第四连杆25的相对于第三连杆24的旋转角度、第五连杆26的相对于第四连杆25的旋转角度、及末端执行器28的相对于第五连杆26的旋转角度，并进行规定的运算处理(例如，利用正运动学(forward kinematics)的运算)，由此检测被末端执行器28握持的对象物W的角度。
图4是表示本实施方式中的运算装置10的硬件结构的一例的框图。运算装置10是对机器人20的路径进行运算的装置，如此图所示，在本实施方式中，包括外部接口11、存储部12、以及控制部15。另外，运算装置10也可以包括驱动器13。
外部接口11是用于将外部设备与运算装置连接的接口。在图4所示的例子中，外部接口11将机器人20、拍摄装置30、角度检测装置40、输入装置50及输出装置60与运算装置以可进行电通信及信息通信的方式连接。外部接口11具有作为用于获取对象物W的初期位置及目标位置的获取部的功能。外部接口11例如获取用户或评估装置等使用输入装置50所输入的对象物W的初期位置及目标位置。例如在评估装置使用输入装置50进行输入的情况下，可输入根据从三维(3-Dimensional，3D)传感器等输出的结果所获得的姿势。或者，外部接口11从拍摄装置30获取已被末端执行器28握持的对象物W的图像。
外部接口11也可以与初期位置一起或除了初期位置之外，还获取抓住放置在初期位置的对象物W时的机器人20的姿势(初期姿势)。另外，外部接口11也可以与目标位置一起或除了目标位置之外，还获取将对象物W放置在目标位置时的机器人20的姿势(目标姿势)。另外，外部接口11也可以从角度检测装置40获取经测量的对象物W的角度，并保存在存储部12中。另外，外部接口11也能够以进一步获取机器人20的当前的姿势(当前姿势)的方式构成。另外，所谓外部接口11所获取的机器人20的姿势，可以是对应于机器人20的多个可动轴来设置，并检测与机器人20的可动轴的旋转角度相关的信息的编码器值，也可以在运算装置的内部，通过基于已获取的编码器值的纯运动学计算来算出。
通常，机器人的姿势能够以构形空间(Configuration Space)内的点的形式来表达。所谓构形空间，是指进行路径规划时所使用的向量空间。有时也将在构形空间内设置点称为采样。所谓路径规划，是指在被给予了障碍物的位置、起点及终点的构形空间内，生成从起点连结至终点为止的路径。构形空间具有与机器人所拥有的可动轴的数量相同数量的维度。构形空间的某一点由与机器人所拥有的可动轴的个数相同个数的值来定义，各可动轴的值表示机器人的环绕各可动轴的旋转角度。另外，在机器人的路径规划的领域中，构形空间有时被称为关节空间。另外，作为进行路径规划的空间，也可以使用基于实际空间的绝对坐标空间。
在如本实施方式那样，将六轴垂直多关节机器人用作机器人20的情况下，构形空间变成六维向量空间。机器人20的构形空间的各可动轴的值分别表示第一连杆22的相对于基座21的旋转角度、第二连杆23的相对于第一连杆22的旋转角度、第三连杆24的相对于第二连杆23的旋转角度、第四连杆25的相对于第三连杆24的旋转角度、第五连杆26的相对于第四连杆25的旋转角度、以及第六连杆27的相对于第五连杆26的旋转角度。控制部15在生成路径的运算处理中，使用外部接口获取与各可动轴的旋转角度相关的数据(设置在机器人20的编码器的检测值)，并根据正运动学，对机器人20或其虚拟模型的位置、姿势进行运算。另外，控制部15可使用构形空间，对决定机器人20的初期姿势的点的各坐标的值、及决定机器人20的目标姿势的点的各坐标的值进行运算。另外，控制部15也可以利用外部接口11的作为获取部的功能，获取构形空间内的用于决定机器人20的初期姿势和/或目标姿势的点的各坐标的值。
另外，外部接口11具有作为用于朝机器人20或输出装置60输出由后述的第一运算部113及第二运算部120所生成的路径的输出部的功能。
存储部12例如包含易失性存储器、非易失性存储器、硬盘驱动器(Hard DiscDrive，HDD)。在存储部12中保存有作业条件的初期值、或与使用路径的机器人20相关的条件(例如，与基座及各连杆的形状相关的信息、与可动轴相关的信息(例如，与可旋转的角度、速度、加速度相关的信息)等)、用于使控制部15执行用以生成路径的运算处理的程序等。
驱动器13驱动已插入至运算装置10的存储介质14。当在存储介质14中存储有对象物W的初期位置及目标位置时，运算装置10也可以从存储介质14获取对象物W的初期位置及目标位置。此时，驱动器13作为用于获取对象物W的初期位置及目标位置的获取部发挥功能。
存储介质14可代替存储部12来用作存储必要的数据的介质。另外，存储介质14可代替存储部12来存储软件程序。存储介质14例如为光盘只读存储器(Compact Disc-ReadOnly Memory，CD-ROM)、可刻录光盘(Compact Disc-Recordable，CD-R)、可重写光盘(Compact Disc-Rewritable，CD-RW)、数字多功能光盘只读存储器(Digital VersatileDisc-Read Only Memory，DVD-ROM)、可刻录数字多功能光盘(Digital Versatile Disc-Recordable，DVD-R)、可重写数字多功能光盘(Digital Versatile Disc-Rewritable，DVD-RW)、数字多功能光盘随机存取存储器(Digital Versatile Disc-Random Access Memory，DVD-RAM)、激光盘(Laser Disc，LD)、磁光盘、存储卡。
控制部15包括作为硬件处理器的中央处理器(Central Processing Unit，CPU)151、随机存取存储器(Random Access Memory，RAM)152、及只读存储器(Read OnlyMemory，ROM)153。
CPU 151是读出并执行已被保存在存储部12中的软件程序的处理器。CPU 151例如读出已被保存在存储部12中的程序，并将这些程序保存在RAM 152或ROM 153中，执行这些程序。CPU 151执行这些程序，由此实现后述的学习部110、第二运算部120、环境变动识别部130、切换部140及比较部150。
输入装置50是用于朝机器人系统1输入指示或设定的装置，例如包含鼠标或键盘。用户对输入装置50所输入的指示或设定被朝运算装置10的控制部15发送。
输出装置60例如为显示器，对用户输出运算装置10生成的路径。
另外，运算装置10只要以根据运算处理的结果，生成满足作业条件的路径的方式构成即可。因此，运算装置10只要至少包括以下部件即可：执行生成满足作业条件的路径的处理的硬件处理器；针对硬件处理器，保存用于执行生成满足作业条件的路径的处理的软件程序的易失性存储器及非易失性存储器的至少任一者；以及用于从外部获取作业条件的外部接口。
＜3.运算装置10的功能结构＞
继而，参照图5对运算装置10的功能结构进行说明。图5是表示本实施方式的运算装置10的功能结构的一例的框图。如图5所示，运算装置10具有：学习部110、第二运算部120、环境变动识别部130、切换部140、以及比较部150。另外，在本实施方式中，作为一例，对将学习部110、第二运算部120、环境变动识别部130、切换部140、以及比较部150在运算装置10中一体化的例子进行说明，但并不限定于此。学习部110、第二运算部120、环境变动识别部130、切换部140、以及比较部150也可以分别作为不同的框体来构成。例如，若将学习部110构成为与其他结构不同的框体，则能够以在进行用于进行某一作业的运算处理的第二运算部120，可随后追加通过学习来获得进行相同的作业的能力的学习部110的方式构成，因此优选。
学习部110通过机器学习来学习进行用于在进行路径规划的空间上生成路径的点的采样的区域，使用学习完成的模型进行路径的生成。如图5所示，学习部110具有状态数据库111、学习执行部112、以及第一运算部113。
状态数据库111保存有用于使学习执行部112进行学习的学习数据。在本结构例中，状态数据库111将与构成路径的点在空间内的坐标相关的信息和进行了路径规划的运算时的作业条件建立关联，作为学习数据来保持。将保持在状态数据库111中的学习数据的概要示于图6及图7。图6是在从进行路径运算的空间的维度中使用特定的二维的坐标上，绘制构成过去所运算的路径的点的示意图。图7是表示学习数据的内容的概略的表。如图7所示，学习数据表示构成过去所运算的路径的点在空间内的坐标、及进行了路径运算时所使用的作业条件在空间内的坐标。此处，所谓作业条件，例如表示对路径进行运算时的障碍物的位置，图7记载有表示障碍物在空间上所占的区域的坐标。构成在被给予了作业条件的状态下所运算的路径的点满足所述作业条件。因此，如图7所示，各点设置在障碍物所占的区域以外，不与表示障碍物的区域的坐标重复。
保持在状态数据库111中的学习数据可根据与后述的第一运算部113或第二运算部120进行的路径规划相关的信息来构成，另外，可根据与第一运算部113或第二运算部120进行的路径规划相关的信息来更新。进而，学习数据可根据基于由所述路径规划生成的路径来控制机器人20的路径的信息来构成、或根据表示机器人20穿过的实际的路径的信息来更新。控制机器人20的路径的信息只要通过以规定的间隔获取机器人20的致动器(马达)的驱动量(旋转量)来生成即可。例如，只要利用测定各马达的旋转量的编码器，测定与构成对路径进行运算的空间的维度对应的马达的旋转量，并生成路径的信息即可。此时，优选表示学习数据中所包含的点的信息是基于过去所运算的路径的信息，且为基于进行了平滑处理的路径的信息。
在本实施方式中，学习部111进行如下的学习：将进行所生成的路径的搜索的空间划分成适合于路径的运算的区域，即搜索构成路径的点的区域(采样区域)。即，学习部111使用作为包含初期姿势S、目标姿势G、作业条件C的输入数据，将与搜索构成路径的点的区域相关的信息作为输出数据输出而生成学习完成模型。第一运算部113使用表达学习完成模型的参数，对应于输入数据划分进行路径的搜索的区域，并针对经划分的区域搜索点，由此执行路径规划的运算。由此，第一运算部与第二运算部相比，可削减路径搜索所花费的时间。另外，可算出比第二运算部生成的路径更顺畅且再现性高的路径。
学习执行部112通过机器学习来进行划分用于生成路径的点的采样区域的学习。如图8所示，在本结构例中，学习执行部112根据学习数据，执行在构形空间内划分进行采样的区域的学习。即，根据学习数据，将学习数据中所包含的点分类或聚类成多个类别，以包含经分类或聚类的各类别中所含有的多个点的方式生成区域。在图8中，表示将学习数据中所包含的点分成四个类别，以包含各类别中所含有的点的方式生成A1～A4的区域的情况。进行分类或聚类的方法可使用已知的方法。例如，作为聚类方法，可使用GMM(高斯混合模型)或K-means(K均值)等，将学习数据中所包含的点分成多个类别。由此，当生成路径规划时，点(节点)的搜索范围缩小，因此可缩短运算时间。
另外，由学习执行部112进行的学习并不特别限定于使用GMM、K-means法的学习。例如，将构形空间等间隔地分割，将过去的路径规划的运算中所设定的点不论是否满足作业条件均作为学习数据来收集。根据已收集的学习数据，针对经等间隔地分割的各区域，算出最终作为生成路径的点所利用的点的出现概率。学习部111也可以执行输出所述出现概率高的区域的学习。此时，第一运算部113可按出现概率从高到低的顺序，设定一个或多个点来生成路径。
第一运算部113使用学习执行部112生成的对应于输入数据将构形空间划分成适合于路径搜索的区域的学习完成模型，进行路径规划。此时，第一运算部113使用表示由学习执行部112所生成的学习完成模型的学习完成参数，将构形空间划分成适合于路径搜索的区域。更具体而言，如图9所示，第一运算部113根据学习完成参数，针对构形空间设定区域。进而，第一运算部113针对使用学习完成参数所划分的构形空间内的各个区域，设定一个或多个点，将设定在各区域的一个或多个点从与初期姿势S的绝对距离近的点起，依次连接直至目标姿势G为止，由此生成路径。此处，与第一运算部113所使用的学习完成模型对应的学习完成参数对应于学习执行部112的学习的进展状况、或用于学习的学习数据的变化而变动。第一运算部113朝后述的比较部150输出与路径规划相关的信息。此处，所谓与路径规划相关的信息，是指由机器人20的关节角度的时间序列数据等来表达的路径、至生成路径为止所需要的时间、运算时间、或路径生成的成功率、由各运算部所运算的路径的顺畅度、再现率的高低等。另外，所谓再现率，是指在作业条件相同、初期姿势及目标姿势接近的条件下的路径规划中，所生成的路径在构形空间上的坐标的接近度。
另外，第一运算部113如何将由学习完成模型所划分的区域用于路径的运算并无特别限定。例如，可将表示经划分的区域的平均的坐标的点设为进行采样的点。此时，可辨别将经划分的区域的平均的坐标彼此连接的线段是否满足作业条件，在满足作业条件的情况下，通过狄克斯特拉算法(Dijkstra's algorithm)等来判定表示已被输入的初期姿势及目标姿势的点与构成所述线段的点能否连接，并生成路径。
第二运算部120根据参数经固定化的模型进行路径规划，控制机器人20。即，第二运算部120用于路径规划的执行的模型并非通过机器学习来获得参数的模型，而是用户事先设定的算法等非学习的模型。例如，第二运算部120根据RRT(快速搜索随机树)、PRM(概率路线图)等方法来进行路径规划。第二运算部120朝后述的比较部150输出与路径规划相关的信息。另外，朝与第二运算部120已进行的路径规划相关的状态数据库111保存。
比较部150将已从第一运算部113与第二运算部120输出的与路径规划相关的信息进行比较，并朝切换部140输出比较结果。例如，比较部150将第一运算部113输出的第一路径的长度与第二运算部120输出的第二路径的长度进行比较。另外，例如，比较部150可根据作为用于生成比较结果的判定基准的由各运算部对路径进行运算所需要的运算时间、路径生成的成功率、由各运算部所运算的路径的顺畅度、再现率的高低等，生成将已从第一运算部113与第二运算部120输出的与路径规划相关的信息进行比较所得的比较结果。另外，比较部150也可以使用根据各运算部生成的路径来模拟机器人20的动作的结果，生成比较结果。另外，比较部150也可以获取根据由各运算部所生成的路径来实际控制机器人20的结果(控制结果)，生成比较结果。
比较部150根据比较结果，选择使用哪一个运算部生成的路径，并经由外部接口11朝机器人20输出已选择的路径。此时，控制部15(参照图4)也可以是以机器人20根据已被输出的路径来运行的方式控制机器人20的结构。
例如，比较部150可对机器人20输出第一运算部113与第二运算部120已生成的各个路径之中，运算时间短的一个路径、或路径顺畅的一个路径。另外，比较部150可对机器人20输出将第一运算部113输出的路径与第二运算部120生成的路径组合而成的路径。例如，比较部150可生成采用与第一运算部113生成的第一路径和第二运算部120生成的第二路径的平均的路径，或在将第一路径与第二路径分别分成规定的区间的情况下，对机器人20输出通过在各区间中将相对顺畅的路径连接来将第一路径与第二路径组合而成的路径。另外，比较部150也可以根据比较结果，对机器人20输出第一运算部113与第二运算部120的任一者生成的路径规划。另外，朝机器人20输出的路径的选择也可以由用户手动来进行。
作为机器人20根据已被输出的路径规划来运行的结果的控制结果作为学习数据而被输入至状态数据库111。
环境变动识别部130根据输入数据，输出用于在进行机器人20的路径规划时，决定第一运算部113与第二运算部120之间的优先度的切换信息。输入数据除机器人20的初期姿势及目标姿势以外，也包含障碍物的有无等环境图像数据。此处，障碍物的有无等环境图像数据是与进行机器人20的路径规划时的作业条件相关联的数据。环境变动识别部130根据输入数据，识别障碍物的有无或障碍物的位置的变动等，并生成切换信息。例如，在障碍物的位置是在学习部110中学习完成的位置的情况下，即在进行路径的运算时的作业条件无变动的情况下，环境变动识别部130生成表示优先使用第一运算部113的切换信息，另一方面，在障碍物的位置是在学习部110中未学习的位置的情况下，即在进行路径的运算时的作业条件有变动的情况下，环境变动识别部130生成表示优先使用第二运算部120的切换信息。例如，可将拍摄有障碍物的图像作为输入数据来获取，根据本次的输入数据的图像与上次的输入数据的图像的差值，通过模式匹配等规定的图像处理来识别障碍物的位置的变动。另外，环境变动识别部130也可以根据用户的任意的输入，对是否生成切换信息进行切换。如此，当输入有与在学习部110中进行了学习时的条件不同的条件(未学习的模式)时，生成表示使用第一运算部113与第二运算部120的哪一个的切换信息。
切换部140以与切换信息和/或比较结果对应的方式，将输入数据的输入对象切换成第一运算部113、第二运算部120、及所述两者中的任一者。例如，当在切换信息中表示使第一运算部113优先时，切换部140将输入对象切换成第一运算部113。另外，即便是在切换信息中表示使第一运算部113优先的情况，当在比较结果中，第二运算部120的评估更高时，也可以将输入对象设为第一运算部113、及第二运算部120两者。
进而，切换部140也可以是对应于学习部110的学习的进展状况，切换输入对象的结构。具体而言，在学习部110的学习未结束的情况下，可将输入对象切换成第二运算部120。所谓学习已结束的情况，例如也可以是当在收集用户事先设定的路径规划的次数的学习数据后，根据所述学习数据，将构形空间划分成规定的区域时，所述区域的中心的坐标的变动收敛成未满事先决定的阈值的情况等。
＜4.运行流程＞
使用图10，对本实施方式的运算装置10的处理的流程进行说明。图10是表示运算装置10的处理流程的一例的流程图。
首先，运算装置10使用第二运算部120进行路径规划(S201)，根据已生成的路径进行机器人20的控制(S202)。此时，将与第二运算部120运算的路径规划相关的信息、作为机器人20运行的路径的信息的控制结果的至少任一者保存在状态数据库111中(S203)。
在学习部110中，将已被保存在状态数据库111中的与路径规划相关的信息或控制结果作为学习数据来执行学习。在学习部110中的学习结束(S204)之前，运算装置10使用第二运算部120继续进行路径规划。
若学习部110中的学习结束(S204：是(YES))，则通过切换部140来将输入数据的输入对象切换成第一运算部113，通过第一运算部113来进行路径规划(S205)。另外，优选在学习部110中的学习结束之前的期间，切换部140将输入数据输入至第一运算部113与第二运算部120两者。在此情况下，比较部150将与第一运算部113及第二运算部120进行的路径规划相关的信息进行比较，生成比较结果。切换部140可根据已生成的比较结果，判定学习部110中的学习是否已结束，并进行输入数据的输入对象的切换。
继而，运算装置10在环境变动识别部130中，判定在机器人20的运转区域中是否放置有障碍物、或其位置是否变动等环境是否已变动(S206)。在环境已变动的情况(S206：是)下，环境变动识别部130生成表示第二运算部120的优先度高的切换信息。
切换部140根据切换信息来选择切换对象(S207)。在此情况下，优选切换部140选择第一运算部113与第二运算部120两者作为输入数据的输入对象，但也可以仅选择第二运算部120。
若切换部140切换输入对象，则在经选择的运算部(第二运算部120，或第一运算部113、第二运算部120两者)中进行路径规划(S208)。从S206至S208为止的处理在作业结束(S209)之前重复执行。
＜5.效果＞
如此，根据本实施方式的运算装置10，可灵活地切换来利用第一运算部113与第二运算部120，所述第一运算部113利用使用因学习而变动的参数的模型来进行路径规划，所述第二运算部120利用使用经固定化的参数的模型来进行路径规划。由此，在未学习的环境中使用第二运算部120，由此即便是正在学习，也可以继续作业。另一方面，在学习完成的环境中使用第一运算部113，由此例如在执行时的运算时间或输出结果、生成成本等方面可获得更优异的结果。
[第二实施方式]
在第一实施方式中，对将运算装置10用于机器人的运动规划的例子进行了说明。但是，应用运算装置10的装置并不限定于第一实施方式中所示的例子，可应用于各种装置。在本实施方式中，对应用于将进行拾放动作作为任务的机器人的控制的例子进行说明。
作为本实施方式的任务的拾放动作是指通过机器人20按以下的顺序来进行的动作。另外，在本实施方式中，以下的顺序2～顺序4，通过事先对机器人20进行编程来执行。
1.识别工件形状来握持。
2.举起已握持的工件。
3.使已举起的工件朝对应于工件形状的规定的位置移动。
4.按各工件形状堆积在筒内。
关于顺序1，运算装置10对例如由拍摄装置30(参照图3)拍摄工件所得的对象图像进行分析，由此对机器人20输出与工件的位置或角度相关的信息。再次参照图5，以与第一实施方式的差异点为中心，对第二实施方式的运算装置10的功能进行说明。
在本实施方式中，给予对象图像作为输入数据。第一运算部113使用深度学习神经网络(Deep Learning Neural Network，DNN)或卷积神经网络(Convolution NeuralNetwork，CNN)进行对象图像的分析(特征提取)，输出表示工件的位置或角度的检测结果。学习执行部112根据已被保存在状态数据库111中的学习数据，进行设定在第一运算部113中的参数的学习。
另一方面，第二运算部120通过角检测等来进行对象图像的特征提取，并输出检测结果。
其他结构或功能与第一实施方式相同。
[第三实施方式]
在本实施方式中，将运算装置10用于缺陷检查系统2，所述缺陷检查系统2对拍摄检查对象所生成的输入图像进行图像分析，由此判定检查对象中有无缺陷。
图11是表示本实施方式的缺陷检查系统2的应用场景的一例的示意图。如图11所示，缺陷检查系统2对拍摄例如作为在带式输送机3上搬送的检查对象的工件4所获得的输入图像执行图像测量处理，由此实现工件4的外观检查或外观测量。在以下的说明中，作为图像测量处理的典型例，对应用于工件4表面上有无缺陷的检查等的例子进行说明，但并不限定于此，也可以应用于缺陷的种类的确定或外观形状的测量等。
在带式输送机3的上部配置有拍摄装置30，拍摄装置30的拍摄视野6以包含带式输送机3的规定区域的方式构成。通过拍摄装置30的拍摄所生成的图像数据(以下，也称为“输入图像”)被发送至运算装置10。利用拍摄装置30的拍摄周期性地或项目性地执行。
运算装置10经由上位网络8而与可编程逻辑控制器(Programmable LogicController，PLC)70及数据库装置80等连接。运算装置10中的测量结果也可以朝PLC 70和/或数据库装置80发送。另外，在上位网络8，不仅可以连接PLC 70及数据库装置80，也可以连接任意的装置。
运算装置10也可以与用于显示处理中的状态或测量结果等的显示器104、以及作为受理用户操作的输入部的键盘106及鼠标108连接。
参照图12，以与第一实施方式的差异点为中心，对本实施方式的运算装置10的功能结构进行说明。在本实施方式中，给予输入图像作为输入数据。第一运算部113使用DNN或CNN对输入图像进行分析，判定工件4中有无缺陷。学习执行部112根据已被保存在状态数据库111中的学习数据进行学习，由此获得从输入图像中作为缺陷所检测的特征来作为参数。已获得的参数被设定在第一运算部113中。
另一方面，第二运算部120使用微分滤波器等，对从输入图像中作为缺陷所检测的特征进行分析，由此判定有无缺陷。
另外，在本实施方式中，比较部150根据比较结果，选择采用第一运算部113与第二运算部120中的哪一个的判定结果，并经由外部接口111而向用户或评估装置等提示已选择的判定结果。此时，优选用户或评估装置等对由比较部150所提示的判定结果是否适当进行评估，并将反馈保存在状态数据库111中。例如，在可进行时间测量的情况下，评估装置也可以测量第一运算部113与第二运算部120的处理时间并进行比较。另外，例如在可通过现有技术来测量缺陷判定的精度的情况下，评估装置也可以测量第一运算部113与第二运算部120的缺陷判定的精度(例如可为正答率)并进行比较。
进而，在本实施方式中，环境变动识别部130根据输入数据(输入图像)，识别输入图像中的背景图像的变动或照明条件的变动，并生成切换信息。
其他结构或功能与第一实施方式相同。
[第四实施方式]
在本实施方式中，将运算装置10用于测量至目标物为止的距离的测量器的校准。图13是表示本实施方式的运算装置10的功能结构的一例的图。参照图13，以与第一实施方式的差异点为中心，对本实施方式的运算装置10的功能结构进行说明。
在本实施方式中，作为输入数据，给予ToF(飞行时间)或LIDAR(光探测和测距)等光学测量器为了测定与目标物的距离(已知)而发送的光学信号。此时，与目标物的距离(目标测距距离)已知。运算装置10算出根据光学信号所算出的测距距离相对于目标测距距离的偏差。光学测量器根据已算出的偏差来进行校准。另外，所述光学信号的波形作为学习数据而被保存在状态数据库111中。
第一运算部113使用RNN(循环神经网络)或CNN对波形的形状进行分析，判定测距距离相对于目标测距距离的误差值。第一运算部113将经判定的误差值作为测量结果输出至比较器150。
学习执行部112将已被保存在状态数据库111中的光学信号的波形、及第二运算部120在所述波形中所判定的误差值作为学习数据进行学习，由此获得波形形状与误差值的相关关系来作为参数。已获得的参数被设定在第一运算部113中。
另一方面，第二运算部120利用FFT等现有的校准的方法，判定测距距离相对于目标测距距离的误差。例如，第二运算部120从光学信号中去除噪声后从波形中提取特征点，由此算出测距距离，并判定误差。第二运算部120将经判定的误差值作为测量结果输出至比较器150。
比较部150根据第一运算部113输出的测量结果的相对于第二运算部120输出的测量结果的偏差幅度，选择采用第一运算部113与第二运算部120中的哪一个的测量结果，并向用户或评估装置等提示已选择的测量结果。例如，在偏差幅度为固定范围以内的情况下，可认为由学习执行部112进行的学习已结束。在此情况下，比较部150向用户或评估装置等提示第一运算部113的测量结果。优选用户或评估装置等对由比较部150所提示的测量结果是否适当进行评估，并将反馈保存在状态数据库111中。
进而，在本实施方式中，环境变动识别部130根据目标测距距离的变动来生成切换信息。例如，在目标测距距离已变化的情况下，优选环境变动识别部130生成表示第二运算部120的优先度高的切换信息。
其他结构或功能与第一实施方式相同。
以上，对本发明的实施方式进行了详细说明，但目前为止所述的说明在所有方面只不过是本发明的例示。当然可在不脱离本发明的范围的情况下进行各种改良或变形。另外，所述实施方式的一部分或全部也可以如以下的附记那样记载，但并不限定于以下的附记。
(附记1)
一种运算装置(19)，包括：
第一运算部(113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出；
第二运算部(120)，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述处理相关的运算，并输出第二输出；以及
比较部(150)，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出。
(附记2)
根据附记1中记载的运算装置(10)，还包括学习部(110)，所述学习部(110)学习所述第一模型的参数，并将已学习的所述参数设定在所述第一模型中。
(附记3)
根据附记2中记载的运算装置(10)，其中所述学习部(110)根据所述第二输出来学习所述第一模型的参数，并将已学习的所述参数设定在所述第一模型中。
(附记4)
根据附记3中记载的运算装置(10)，其中所述比较部(150)输出所述第二输出，直至在所述学习部(110)中所述第一模型的参数的学习结束为止。
(附记5)
根据附记1至附记4的任一项中记载的运算装置(10)，还包括：
环境变动识别部(130)，检测所述第一运算部(113)对于所述输入数据是否学习完成，并生成表示要利用所述第一运算部及所述第二运算部(113、120)中的哪一个的切换信息；以及
切换部(140)，根据所述切换信息，对将所述输入数据输入至所述第一运算部及所述第二运算部中的哪一个进行切换。
(附记6)
根据附记5中记载的运算装置(10)，其中所述环境变动识别部(130)根据所述第一运算部(113)进行所述输入数据的运算时的前提条件是否有变更，判断所述第一运算部(113)对于所述输入数据是否学习完成。
(附记7)
一种运算装置(10)，包括：
第一运算部(113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对包含机器人(20)的初期姿势与目标姿势的输入数据进行路径规划，并将在所述路径规划中生成的路径作为第一输出来输出；
第二运算部(120)，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行路径规划，并将在所述路径规划中生成的路径作为第二输出来输出；
比较部(150)，根据所述第一输出与所述第二输出的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
控制部(15)，对应于所述比较部(150)的输出，从所述初期姿势朝所述目标姿势控制所述机器人(20)。
(附记8)
一种运算装置(10)，包括：
第一运算部(113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄机器人(20)握持的对象物(W)而获得的图像的输入数据进行图像分析，并将分析结果作为第一输出来输出；
第二运算部(120)，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行图像分析，并将分析结果作为第二输出来输出；
比较部(150)，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
控制部(15)，对应于所述比较部(150)的输出，以握持所述对象物(W)的方式控制所述机器人(20)。
(附记9)
一种运算装置(10)，包括：
第一运算部(113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄有检查对象(4)的图像的输入数据进行图像分析，并将作为判定所述检查对象(4)中有无缺陷的结果的判定结果作为第一输出来输出；
第二运算部(120)，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行图像分析，并将判定结果作为第二输出来输出；
比较部(150)，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
提示部(150、11)，对应于所述比较部(150)的输出，提示所述检查对象中有无缺陷。
(附记10)
一种运算装置(10)，包括：
第一运算部(113)，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为光学测量器为了测量至距离已知的目标物的测距距离而发送的光学信号的输入数据进行图像分析，并将所述光学信号所示的测距距离与已知的至所述目标物的距离的误差作为第一输出来输出；
第二运算部(120)，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据算出测距距离，并将所述测距距离与至所述目标物的距离的误差作为第二输出来输出；
比较部(150)，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
提示部(150、11)，对应于所述比较部(150)的输出，提示所述光学信号所示的测距距离与已知的至所述目标物为止的距离的误差。
(附记11)
一种程序使计算机(10)作为如下的部件发挥功能：
利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的部件；
利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述规定的处理相关的运算，并输出第二输出的部件；以及
根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出的部件。
(附记12)
一种运算方法，使计算机(10)执行如下的步骤：
利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的步骤；
利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述规定的处理相关的运算，并输出第二输出的步骤；以及
根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出的步骤。
符号的说明
1：机器人系统
2：缺陷检查系统
3：带式输送机
4：工件
6：拍摄视野
8：上位网络
9：光学测量系统
10：运算装置
11：外部接口
12：存储部
13：驱动器
14：存储介质
15：控制部
20：机器人
21：基座
22：第一连杆
23：第二连杆
24：第三连杆
25：第四连杆
26：第五连杆
27：第六连杆
28：末端执行器
30：拍摄装置
40：角度检测装置
50：输入装置
60：输出装置
80：数据库装置
104：显示器
106：键盘
108：鼠标
110：学习部
111：状态数据库
111：信息状态数据库
112：学习执行部
113：第一运算部
120：第二运算部
130：环境变动识别部
140：切换部
150：比较部

Claims (12)

1.一种运算装置，包括：
第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出；
第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述处理相关的运算，并输出第二输出；以及
比较部，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出。
2.根据权利要求1所述的运算装置，还包括学习部，所述学习部学习所述第一模型的参数，并将已学习的所述参数设定在所述第一模型中。
3.根据权利要求2所述的运算装置，其中所述学习部根据所述第二输出来学习所述第一模型的参数，并将已学习的所述参数设定在所述第一模型中。
4.根据权利要求3所述的运算装置，其中
所述比较部输出所述第二输出，直至在所述学习部中所述第一模型的参数的学习结束为止。
5.根据权利要求1至4中任一项所述的运算装置，还包括：
环境变动识别部，检测所述第一运算部对于所述输入数据是否学习完成，并生成表示要利用所述第一运算部及所述第二运算部中的哪一个的切换信息；以及
切换部，根据所述切换信息，对将所述输入数据输入至所述第一运算部及所述第二运算部中的哪一个进行切换。
6.根据权利要求5所述的运算装置，其中
所述环境变动识别部根据所述第一运算部进行所述输入数据的运算时的前提条件是否有变更，判断所述第一运算部对于所述输入数据是否学习完成。
7.一种运算装置，包括：
第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对包含机器人的初期姿势与目标姿势的输入数据进行路径规划，并将在所述路径规划中生成的路径作为第一输出来输出；
第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行路径规划，并将在所述路径规划中生成的路径作为第二输出来输出；
比较部，根据所述第一输出与所述第二输出的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
控制部，对应于所述比较部的输出，从所述初期姿势朝所述目标姿势控制所述机器人。
8.一种运算装置，包括：
第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄机器人握持的对象物而获得的图像的输入数据进行图像分析，并将分析结果作为第一输出来输出；
第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行图像分析，并将分析结果作为第二输出来输出；
比较部，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
控制部，对应于所述比较部的输出，以握持所述对象物的方式控制所述机器人。
9.一种运算装置，包括：
第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为拍摄检查对象而获得的图像的输入数据进行图像分析，并将作为判定所述检查对象中有无缺陷的结果的判定结果作为第一输出来输出；
第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行图像分析，并将判定结果作为第二输出来输出；
比较部，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
提示部，对应于所述比较部的输出，提示所述检查对象中有无缺陷。
10.一种运算装置，包括：
第一运算部，利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对作为光学测量器为了测量至距离已知的目标物的测距距离而发送的光学信号的输入数据进行图像分析，并将所述光学信号所示的测距距离与已知的至所述目标物的距离的误差作为第一输出来输出；
第二运算部，利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据算出测距距离，并将所述测距距离与至所述目标物的距离的误差作为第二输出来输出；
比较部，根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出；以及
提示部，对应于所述比较部的输出，提示所述光学信号所示的测距距离与已知的至所述目标物的距离的误差。
11.一种程序，使计算机作为如下的部件发挥功能：
利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的部件；
利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述规定的处理相关的运算，并输出第二输出的部件；以及
根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的比较结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出的部件。
12.一种运算方法，使计算机执行如下的步骤：
利用输入数据与输出数据的对应关系通过使用学习用数据进行机器学习而变动的第一模型，对输入数据进行与规定的处理相关的运算，并输出第一输出的步骤；
利用输入数据与输出数据的对应关系固定的第二模型，对所述输入数据进行与所述规定的处理相关的运算，并输出第二输出的步骤；以及
根据以规定的判定基准将所述第一输出与所述第二输出进行比较所得的结果，输出所述第一输出、所述第二输出、或由所述第一输出及所述第二输出组合而成的第三输出的步骤。
CN201980012029.2A 2018-03-13 2019-03-07 运算装置、运算方法及记录介质 Active CN111684474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018045254A JP6857332B2 (ja) 2018-03-13 2018-03-13 演算装置、演算方法、及びそのプログラム
JP2018-045254 2018-03-13
PCT/JP2019/009142 WO2019176737A1 (ja) 2018-03-13 2019-03-07 演算装置、演算方法、及びそのプログラム

Publications (2)

Publication Number Publication Date
CN111684474A true CN111684474A (zh) 2020-09-18
CN111684474B CN111684474B (zh) 2024-04-16

Family

ID=67908283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012029.2A Active CN111684474B (zh) 2018-03-13 2019-03-07 运算装置、运算方法及记录介质

Country Status (5)

Country Link
US (1) US20210001481A1 (zh)
EP (1) EP3767555A4 (zh)
JP (1) JP6857332B2 (zh)
CN (1) CN111684474B (zh)
WO (1) WO2019176737A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161910A1 (ja) * 2019-02-08 2020-08-13 日本電気株式会社 制御装置、制御方法、記録媒体
US20220281120A1 (en) * 2019-08-02 2022-09-08 Dextrous Robotics, Inc. Robotic manipulators
KR102110480B1 (ko) * 2020-02-03 2020-05-13 주식회사 이글루시큐리티 비지도 학습 기반의 이상 탐지 방법 및 그 시스템
JP7375587B2 (ja) * 2020-02-05 2023-11-08 株式会社デンソー 軌道生成装置、多リンクシステム、及び軌道生成方法
JP7463777B2 (ja) * 2020-03-13 2024-04-09 オムロン株式会社 制御装置、学習装置、ロボットシステム、および方法
KR102522511B1 (ko) * 2020-09-22 2023-04-17 한국전기연구원 다자유도 로봇 제어방법 및 시스템
US20220134537A1 (en) * 2020-10-29 2022-05-05 Nvidia Corporation Transformation of joint space coordinates using machine learning
KR102432281B1 (ko) * 2020-11-13 2022-08-16 주식회사 플라잎 로봇의 엔드 이펙터의 최적 경로를 도출하는 장치 및 방법
JP2022134604A (ja) * 2021-03-03 2022-09-15 オムロン株式会社 ロボットセルシステム設計装置、方法、及びプログラム
US20230050174A1 (en) * 2021-08-10 2023-02-16 Sean Alexander Cassero Template robotic control plans
US20230302636A1 (en) * 2022-03-23 2023-09-28 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Flexible Robotic Manipulation by Fast Online Load Estimation
WO2023205176A1 (en) 2022-04-18 2023-10-26 Dextrous Robotics, Inc. System and/or method for grasping objects
WO2023223570A1 (ja) * 2022-05-18 2023-11-23 三菱電機株式会社 制御装置、ロボットシステム、学習装置、ロボットの制御方法およびプログラム
WO2023228556A1 (ja) * 2022-05-24 2023-11-30 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05204406A (ja) * 1992-01-28 1993-08-13 Hitachi Ltd プロセス制御装置
JPH06263346A (ja) * 1993-03-16 1994-09-20 Hitachi Ltd エレベータの交通流判定装置
JPH0830327A (ja) * 1994-07-18 1996-02-02 Fujitsu Ltd 能動的環境認識システム
CN101320252A (zh) * 2007-06-07 2008-12-10 株式会社日立制作所 成套设备的控制装置
JP2009116770A (ja) * 2007-11-09 2009-05-28 Sony Corp データ処理装置および方法、プログラム、並びに記録媒体
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
US20170140266A1 (en) * 2015-11-12 2017-05-18 Google Inc. Dueling deep neural networks
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
CN107199397A (zh) * 2016-03-17 2017-09-26 发那科株式会社 机器学习装置、激光加工系统以及机器学习方法
JP2017174094A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2017215898A (ja) * 2016-06-02 2017-12-07 株式会社マーズスピリット 機械学習システム
WO2017221856A1 (ja) * 2016-06-21 2017-12-28 日本電気株式会社 分析装置、分析方法、および記憶媒体
CN107533672A (zh) * 2015-05-11 2018-01-02 株式会社东芝 模式识别装置、模式识别方法以及程序
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序
EP3438887A1 (en) * 2016-03-28 2019-02-06 Sony Corporation Information processing device and information processing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2533942B2 (ja) 1989-03-13 1996-09-11 株式会社日立製作所 知識抽出方法およびプロセス運転支援システム
JPH07210209A (ja) * 1994-01-21 1995-08-11 Mazda Motor Corp 神経回路を用いた制御装置
JPH0991036A (ja) * 1995-09-25 1997-04-04 Toshiba Corp プラント監視装置
JP3324434B2 (ja) * 1997-03-26 2002-09-17 株式会社エフ・エフ・シー 換気制御装置
JP2002251597A (ja) * 2001-02-23 2002-09-06 Yamaha Motor Co Ltd 最適解探索装置、最適化アルゴリズムによる制御対象の制御装置及び最適解探索プログラム
US9080855B2 (en) * 2011-09-23 2015-07-14 Mitutoyo Corporation Method utilizing image correlation to determine position measurements in a machine vision system
JP6514166B2 (ja) * 2016-09-16 2019-05-15 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法
CN111108368B (zh) * 2017-09-19 2022-06-28 富士胶片株式会社 教学数据制作方法及装置以及缺陷检查方法及装置
JP6695843B2 (ja) * 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05204406A (ja) * 1992-01-28 1993-08-13 Hitachi Ltd プロセス制御装置
JPH06263346A (ja) * 1993-03-16 1994-09-20 Hitachi Ltd エレベータの交通流判定装置
JPH0830327A (ja) * 1994-07-18 1996-02-02 Fujitsu Ltd 能動的環境認識システム
CN101320252A (zh) * 2007-06-07 2008-12-10 株式会社日立制作所 成套设备的控制装置
JP2009116770A (ja) * 2007-11-09 2009-05-28 Sony Corp データ処理装置および方法、プログラム、並びに記録媒体
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN107533672A (zh) * 2015-05-11 2018-01-02 株式会社东芝 模式识别装置、模式识别方法以及程序
US20170140266A1 (en) * 2015-11-12 2017-05-18 Google Inc. Dueling deep neural networks
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
CN107199397A (zh) * 2016-03-17 2017-09-26 发那科株式会社 机器学习装置、激光加工系统以及机器学习方法
JP2017174094A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
EP3438887A1 (en) * 2016-03-28 2019-02-06 Sony Corporation Information processing device and information processing method
JP2017215898A (ja) * 2016-06-02 2017-12-07 株式会社マーズスピリット 機械学習システム
WO2017221856A1 (ja) * 2016-06-21 2017-12-28 日本電気株式会社 分析装置、分析方法、および記憶媒体
CN107704482A (zh) * 2016-08-09 2018-02-16 松下知识产权经营株式会社 方法、装置以及程序

Also Published As

Publication number Publication date
JP2019159767A (ja) 2019-09-19
WO2019176737A1 (ja) 2019-09-19
EP3767555A4 (en) 2021-11-24
US20210001481A1 (en) 2021-01-07
CN111684474B (zh) 2024-04-16
EP3767555A1 (en) 2021-01-20
JP6857332B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
CN111684474B (zh) 运算装置、运算方法及记录介质
US11745355B2 (en) Control device, control method, and non-transitory computer-readable storage medium
JP6931457B2 (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
CN110914024A (zh) 路径输出方法、路径输出系统和路径输出程序
Lanini et al. Human intention detection as a multiclass classification problem: Application in physical human–robot interaction while walking
JP2018051652A (ja) ロボットシステム
CN114845844B (zh) 信息处理装置、工件识别装置及工件取出装置
WO2021033486A1 (ja) モデル生成装置、モデル生成方法、制御装置及び制御方法
CN111745640B (zh) 物体检测方法、物体检测装置以及机器人系统
Militaru et al. Object handling in cluttered indoor environment with a mobile manipulator
Parhi et al. Smart navigation of humanoid robots using DAYKUN-BIP virtual target displacement and petri-net strategy
Kamon et al. Learning visually guided grasping: a test case in sensorimotor learning
JP7263987B2 (ja) 制御装置、制御方法、及び制御プログラム
JP2021030359A (ja) 制御装置、制御方法、及び制御プログラム
JP6456557B1 (ja) 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
Lopez-Juarez et al. On the design of intelligent robotic agents for assembly
Wu et al. Application of visual servoing for grasping and placing operation in slaughterhouse
née Nikandrova et al. Task-specific grasping of simiiar objects by probabiiistic fusion of vision and tactiie measurements
RU2745380C1 (ru) Способ и система захвата объектов с помощью роботизированного устройства
US20240139962A1 (en) Iterative control of robot for target object
CN114080304B (zh) 控制装置、控制方法及控制程序
Santos et al. Cognitive skills models: Towards increasing autonomy in underwater intervention missions
Kulecki Multimodal Robot Programming Interface Based On RGB-D Perception and Neural Scene Understanding Modules
Cabrera et al. Real time object recognition methodology
EA041202B1 (ru) Способ и система захвата объектов с помощью роботизированного устройства

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant