JP2020113262A - Learned-model generation device, robot control device, and program - Google Patents
Learned-model generation device, robot control device, and program Download PDFInfo
- Publication number
- JP2020113262A JP2020113262A JP2019220468A JP2019220468A JP2020113262A JP 2020113262 A JP2020113262 A JP 2020113262A JP 2019220468 A JP2019220468 A JP 2019220468A JP 2019220468 A JP2019220468 A JP 2019220468A JP 2020113262 A JP2020113262 A JP 2020113262A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- learned model
- task
- model generation
- generation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 description 24
- 238000012986 modification Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 230000010365 information processing Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000009471 action Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000015654 memory Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Abstract
Description
本発明は、学習済モデル生成装置、ロボット制御装置、及び、プログラムに関する。 The present invention relates to a learned model generation device, a robot control device, and a program.
近年、様々な分野へのロボットの導入に注目が集まっている。例えば、製造向上にロボットを導入することにより、製造コストの低下や歩留まりの向上が期待されている。 In recent years, attention has been focused on the introduction of robots in various fields. For example, introduction of a robot for improving manufacturing is expected to reduce manufacturing cost and improve yield.
ロボットの導入には、ロボットに対して適切な制御命令を与えることが重要である。
ロボットに対して制御命令を与えるための技術として、例えば、特許文献１は、ロボットに制御命令を与えるためのユーザインタフェースを開示している。
In order to introduce a robot, it is important to give an appropriate control command to the robot.
As a technique for giving a control command to a robot, for example, Patent Document 1 discloses a user interface for giving a control command to the robot.
ロボットを動作させるためには、ロボットにタスクを実行させるための動作を定義する必要がある。一般に、ロボットの動作は、動作環境と、当該動作環境において実行すべき動作と、の組み合わせによって規定される。ロボットを適切に動作させるためには、想定される全ての動作環境に対応する動作を規定する必要がある。
動作が規定されていない動作環境が存在すると、ロボットの動作に不具合が生じる。
In order to operate a robot, it is necessary to define an operation for causing the robot to execute a task. Generally, the motion of a robot is defined by a combination of a motion environment and a motion to be executed in the motion environment. In order to properly operate the robot, it is necessary to define the motions corresponding to all assumed motion environments.
If there is an operating environment in which the operation is not specified, the operation of the robot will malfunction.
しかし、特許文献１において、ＧＵＩをディスプレイに表示することは、動作環境を予め規定することに等しい。つまり、予め規定されていなかった動作環境については、ＧＵＩをディスプレイに表示することはできない。したがって、動作が規定されていない動作環境では、ロボットは適切に動作することはできない。 However, in Patent Document 1, displaying the GUI on the display is equivalent to predefining the operating environment. That is, the GUI cannot be displayed on the display for an operating environment that is not specified in advance. Therefore, the robot cannot properly operate in an operation environment in which the operation is not defined.
このように、従来、動作が規定されていない動作環境ではロボットを適切に動作させることはできない。 As described above, conventionally, the robot cannot properly operate in an operation environment in which the operation is not regulated.
本発明の目的は、全ての動作環境に対応する動作を規定することなく、様々な動作環境においてロボットの適切な動作を実現することである。 An object of the present invention is to realize an appropriate motion of a robot in various motion environments without defining motions corresponding to all motion environments.
本発明の一態様は、
複数の動作から構成されるタスクを実行するロボットの動作に関する学習済モデルを生成する学習済モデル生成装置であって、
ロボットの複数の動作環境のそれぞれに関するセンサデータを取得する手段を備え、
前記センサデータから、前記動作環境を表す特徴量を抽出する手段を備え、
前記抽出された特徴量と、前記動作と、が関連付けられた学習用データセットを記憶する手段を備え、
前記学習用データセットを参照して、前記動作環境及び前記動作の関係が規定された学習済モデルを生成する手段を備える、
学習済モデル生成装置である。
One aspect of the present invention is
A trained model generation device for generating a trained model relating to a motion of a robot that executes a task composed of a plurality of motions,
A means for acquiring sensor data for each of a plurality of operating environments of the robot,
A means for extracting a feature amount representing the operating environment from the sensor data,
A means for storing a learning data set in which the extracted feature quantity and the motion are associated with each other,
A means for generating a learned model in which the relationship between the operating environment and the operation is defined with reference to the learning data set,
It is a learned model generation device.
本発明によれば、全ての動作環境に対応する動作を規定することなく、様々な動作環境においてロボットの適切な動作を実現することができる。 According to the present invention, it is possible to realize an appropriate motion of a robot in various operating environments without defining motions corresponding to all operating environments.
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 An embodiment of the present invention will be described in detail below with reference to the drawings. In addition, in the drawings for describing the embodiments, the same components are denoted by the same reference symbols in principle, and repeated description thereof will be omitted.
（１）情報処理システムの構成
情報処理システムの構成を説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
(1) Configuration of Information Processing System The configuration of the information processing system will be described. FIG. 1 is a block diagram showing the configuration of the information processing system of this embodiment.
図１に示すように、情報処理システム１は、学習済モデル生成装置１０と、センサユニット２０と、ロボット３０と、ロボット制御装置５０と、制御対象ロボット７０と、を備える。 As shown in FIG. 1, the information processing system 1 includes a learned model generation device 10, a sensor unit 20, a robot 30, a robot control device 50, and a controlled robot 70.
学習済モデル生成装置１０は、センサユニット２０と、ロボット３０と、ロボット制御装置５０と、に接続される。 The learned model generation device 10 is connected to the sensor unit 20, the robot 30, and the robot control device 50.
センサユニット２０は、学習済モデル生成装置１０と、ロボット制御装置５０と、に接続される。 The sensor unit 20 is connected to the learned model generation device 10 and the robot control device 50.
ロボット３０は、学習済モデル生成装置１０に接続される。
制御対象ロボット７０は、ロボット制御装置５０に接続される。
ロボット３０及び制御対象ロボット７０は、自律的に動作するように構成された自立動作装置の一例である。ロボット３０及び制御対象ロボット７０は、例えば、以下を含む。
・ロボットアーム
・工作機械
・ロボット掃除機
・ドローン
・自立駆動型の医療機器（一例として、内視鏡）
The robot 30 is connected to the learned model generation device 10.
The controlled robot 70 is connected to the robot controller 50.
The robot 30 and the controlled robot 70 are an example of a self-sustained motion device configured to autonomously operate. The robot 30 and the controlled robot 70 include, for example, the following.
・Robot arm ・Machine tool ・Robot cleaner ・Drone ・Self-supporting medical equipment (for example, endoscope)
ロボット制御装置５０は、学習済モデル生成装置１０と、センサユニット２０と、制御対象ロボット７０と、に接続される。 The robot control device 50 is connected to the learned model generation device 10, the sensor unit 20, and the control target robot 70.
学習済モデル生成装置１０は、ロボット３０を制御するための学習済モデルを生成するように構成される。学習済モデル生成装置１０は、例えば、パーソナルコンピュータ、又は、サーバコンピュータである。 The learned model generation device 10 is configured to generate a learned model for controlling the robot 30. The learned model generation device 10 is, for example, a personal computer or a server computer.
センサユニット２０は、ロボット３０及び制御対象ロボット７０の動作環境に関するセンサデータを取得するように構成される。センサデータは、例えば、以下の少なくとも１つを含む。
・ロボット３０及びロボット３０の周囲の静止画、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の静止画
・ロボット３０及びロボット３０の周囲の動画、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の動画
・ロボット３０及びロボット３０の周囲の音声、並びに、制御対象ロボット７０及び制御対象ロボット７０の周囲の音声
The sensor unit 20 is configured to acquire sensor data regarding operating environments of the robot 30 and the controlled robot 70. The sensor data includes at least one of the following, for example.
-Robot 30 and still images around robot 30, and still images around controlled robot 70 and controlled robot 70-Robot 30 and moving images around robot 30, controlled robot 70 and controlled robot 70 Video around the robot 30. Voice around the robot 30 and the robot 30, and voice around the control target robot 70 and the control target robot 70.
ロボット３０は、ユーザ指示に応じて動作するように構成される。 The robot 30 is configured to operate according to a user instruction.
ロボット制御装置５０は、制御対象ロボット７０を制御するように構成される。ロボット制御装置５０は、例えば、パーソナルコンピュータ、又は、サーバコンピュータである。 The robot controller 50 is configured to control the controlled robot 70. The robot controller 50 is, for example, a personal computer or a server computer.
制御対象ロボット７０は、ロボット制御装置５０の制御に従って動作するように構成される。 The controlled robot 70 is configured to operate under the control of the robot controller 50.
（１−１）学習済モデル生成装置の構成
学習済モデル生成装置１０の構成を説明する。図２は、図１の学習済モデル生成装置の機能ブロック図である。
(1-1) Configuration of Learned Model Generating Device The configuration of the learned model generating device 10 will be described. FIG. 2 is a functional block diagram of the learned model generation device of FIG.
図２に示すように、学習済モデル生成装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。 As shown in FIG. 2, the learned model generation device 10 includes a storage device 11, a processor 12, an input/output interface 13, and a communication interface 14.
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of a ROM (Read Only Memory), a RAM (Random Access Memory), and a storage (for example, a flash memory or a hard disk).
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、学習済モデル生成アプリケーション）のプログラム
The programs include, for example, the following programs.
-OS (Operating System) program-Application (for example, learned model generation application) program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
The data includes, for example, the following data.
-Database referred to in information processing-Data obtained by executing information processing (that is, execution result of information processing)
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、学習済モデル生成装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。 The processor 12 is configured to realize the function of the learned model generation device 10 by activating a program stored in the storage device 11. The processor 12 is an example of a computer.
入出力インタフェース１３は、学習済モデル生成装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、学習済モデル生成装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、センサユニット２０を含む。
出力デバイスは、例えば、ディスプレイである。
The input/output interface 13 is configured to acquire a user's instruction from an input device connected to the trained model generation apparatus 10 and output information to an output device connected to the trained model generation apparatus 10. ..
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof. The input device also includes the sensor unit 20.
The output device is, for example, a display.
通信インタフェース１４は、学習済モデル生成装置１０、ロボット３０及びロボット制御装置５０との間の通信を制御するように構成される。 The communication interface 14 is configured to control communication between the learned model generation device 10, the robot 30, and the robot control device 50.
（１−２）ロボットの構成
本実施形態のロボット３０の構成を説明する。図３は、図１のロボットの機能ブロック図である。
(1-2) Configuration of Robot The configuration of the robot 30 of this embodiment will be described. FIG. 3 is a functional block diagram of the robot of FIG.
図３に示すように、ロボット３０は、記憶装置３１と、プロセッサ３２と、通信インタフェース３４と、駆動部３５と、を備える。 As shown in FIG. 3, the robot 30 includes a storage device 31, a processor 32, a communication interface 34, and a drive unit 35.
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 31 is configured to store programs and data. The storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、ロボット３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。 The processor 32 is configured to realize the function of the robot 30 by activating a program stored in the storage device 31. The processor 32 is an example of a computer.
通信インタフェース３４は、ロボット３０と、学習済モデル生成装置１０との間の通信を制御するように構成される。 The communication interface 34 is configured to control communication between the robot 30 and the trained model generation device 10.
駆動部３５は、例えば、関節を有するロボットアームである。駆動部３５は、プロセッサ３２の制御に従い、駆動するように構成される。 The drive unit 35 is, for example, a robot arm having joints. The drive unit 35 is configured to drive under the control of the processor 32.
（１−３）ロボット制御装置の構成
ロボット制御装置５０の構成を説明する。図４は、図１の学習済モデル生成装置の機能ブロック図である。
(1-3) Configuration of Robot Control Device The configuration of the robot control device 50 will be described. FIG. 4 is a functional block diagram of the learned model generation device of FIG.
図４に示すように、ロボット制御装置５０は、記憶装置５１と、プロセッサ５２と、入出力インタフェース５３と、通信インタフェース５４とを備える。 As shown in FIG. 4, the robot controller 50 includes a storage device 51, a processor 52, an input/output interface 53, and a communication interface 54.
記憶装置５１は、プログラム及びデータを記憶するように構成される。記憶装置５１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 51 is configured to store programs and data. The storage device 51 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ロボット制御アプリケーション）のプログラム
The programs include, for example, the following programs.
-OS (Operating System) program-Application (for example, robot control application) program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
The data includes, for example, the following data.
-Database referred to in information processing-Data obtained by executing information processing (that is, execution result of information processing)
プロセッサ５２は、記憶装置５１に記憶されたプログラムを起動することによって、ロボット制御装置５０の機能を実現するように構成される。プロセッサ５２は、コンピュータの一例である。 The processor 52 is configured to realize the function of the robot controller 50 by activating a program stored in the storage device 51. The processor 52 is an example of a computer.
入出力インタフェース５３は、ロボット制御装置５０に接続される入力デバイスからユーザの指示を取得し、かつ、ロボット制御装置５０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。また、入力デバイスは、センサユニット２０を含む。
出力デバイスは、例えば、ディスプレイである。
The input/output interface 53 is configured to obtain a user instruction from an input device connected to the robot controller 50 and output information to an output device connected to the robot controller 50.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof. The input device also includes the sensor unit 20.
The output device is, for example, a display.
通信インタフェース５４は、ロボット制御装置５０と、学習済モデル生成装置１０及び制御対象ロボット７０との間の通信を制御するように構成される。 The communication interface 54 is configured to control communication between the robot control device 50 and the learned model generation device 10 and the controlled robot 70.
（１−４）制御対象ロボットの構成
本実施形態の制御対象ロボット７０の構成を説明する。図５は、図１の制御対象ロボットの機能ブロック図である。
(1-4) Configuration of Control Target Robot The configuration of the control target robot 70 of the present embodiment will be described. FIG. 5 is a functional block diagram of the controlled robot shown in FIG.
図５に示すように、制御対象ロボット７０は、記憶装置７１と、プロセッサ７２と、通信インタフェース７４と、駆動部７５と、を備える。 As shown in FIG. 5, the controlled robot 70 includes a storage device 71, a processor 72, a communication interface 74, and a drive unit 75.
記憶装置７１は、プログラム及びデータを記憶するように構成される。記憶装置７１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 71 is configured to store programs and data. The storage device 71 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
プロセッサ７２は、記憶装置７１に記憶されたプログラムを起動することによって、制御対象ロボット７０の機能を実現するように構成される。プロセッサ７２は、コンピュータの一例である。 The processor 72 is configured to realize the function of the controlled robot 70 by activating a program stored in the storage device 71. The processor 72 is an example of a computer.
通信インタフェース７４は、制御対象ロボット７０と、ロボット制御装置５０との間の通信を制御するように構成される。 The communication interface 74 is configured to control communication between the controlled robot 70 and the robot control device 50.
駆動部７５は、例えば、関節を有するロボットアームである。駆動部７５は、プロセッサ７２の制御に従い、駆動するように構成される。 The drive unit 75 is, for example, a robot arm having joints. The drive unit 75 is configured to drive under the control of the processor 72.
（２）実施形態の概要
本実施形態の概要を説明する。図６は、本実施形態の概要の説明図である。
(2) Outline of Embodiment An outline of this embodiment will be described. FIG. 6 is an explanatory diagram of the outline of the present embodiment.
本実施形態では、「タスク」とは、ロボット３０及び制御対象ロボット７０が完了すべき作業である。
「動作」とは、タスクを完了させるために必要な要素である。
「動作環境」とは、動作を実行するときの状況及び動作を実行する場所の組合せである。
つまり、ロボット３０及び制御対象ロボット７０が複数の動作環境のそれぞれにおいて動作を行った結果、タスクが完了する。
In the present embodiment, the “task” is a work to be completed by the robot 30 and the controlled robot 70.
An "action" is an element required to complete a task.
The “operating environment” is a combination of a situation when performing an action and a place where the action is performed.
That is, the task is completed as a result of the robot 30 and the controlled robot 70 operating in each of a plurality of operating environments.
図６に示すように、学習済モデル生成装置１０は、ユーザから、動作環境に応じたロボット３０の動作の指定を受け付ける。
ロボット３０は、ユーザ指示に応じて動作する。
センサユニット２０は、ロボット３０の複数の動作環境のそれぞれに関するセンサデータを生成する。
学習済モデル生成装置１０は、センサユニット２０から、センサデータを取得する。
学習済モデル生成装置１０は、センサデータから、各動作環境の特徴量を抽出する。
学習済モデル生成装置１０は、特徴量（つまり、動作環境）と、動作と、が関連付けられた学習用データセットを生成する。
学習済モデル生成装置１０は、学習用データセットを参照して、動作環境及び動作の関係が規定された学習済モデルを生成する。
As shown in FIG. 6, the learned model generating apparatus 10 receives a designation of a motion of the robot 30 according to a motion environment from a user.
The robot 30 operates according to a user instruction.
The sensor unit 20 generates sensor data regarding each of a plurality of operating environments of the robot 30.
The learned model generation device 10 acquires sensor data from the sensor unit 20.
The learned model generation device 10 extracts the feature amount of each operating environment from the sensor data.
The learned model generation device 10 generates a learning data set in which a feature amount (that is, an operating environment) and a motion are associated with each other.
The learned model generation device 10 refers to the learning data set and generates a learned model in which the relationship between the operating environment and the operation is defined.
本実施形態では、制御対象ロボット７０を制御するロボット制御装置５０は、学習済モデル生成装置１０によって生成された学習済モデルを参照して、制御対象ロボット７０にコマンドを送信する。制御対象ロボット７０は、ロボット制御装置５０から送信されたコマンドに従って、動作環境に応じて適切な動作を実行する。これにより、全ての動作環境に対応する動作を規定することなく、制御対象ロボット７０にタスクを実行させることができる。 In the present embodiment, the robot control device 50 that controls the controlled robot 70 transmits a command to the controlled robot 70 by referring to the learned model generated by the learned model generation device 10. The controlled robot 70 executes an appropriate operation according to the operating environment according to the command transmitted from the robot control device 50. As a result, the controlled robot 70 can be caused to execute a task without prescribing operations corresponding to all operating environments.
（３）データテーブル
本実施形態のデータテーブルを説明する。
(3) Data Table The data table of this embodiment will be described.
（３−１）タスクデータベース
本実施形態のタスクデータベースを説明する。図７は、本実施形態のタスクデータベースのデータ構造を示す図である。
(3-1) Task Database The task database of this embodiment will be described. FIG. 7 is a diagram showing the data structure of the task database of this embodiment.
図７のタスクデータベースには、タスクに関するタスク情報が格納される。
タスクデータベースは、「タスクＩＤ」フィールドと、「タスク名」フィールドと、複数の「動作環境」フィールド（「動作環境Ａ」フィールド、「動作環境Ｂ」フィールド…）と、を含む。
各フィールドは、互いに関連付けられている。
The task database of FIG. 7 stores task information regarding tasks.
The task database includes a "task ID" field, a "task name" field, and a plurality of "operating environment" fields ("operating environment A" field, "operating environment B" field...).
Each field is associated with each other.
「タスクＩＤ」フィールドには、タスクを識別するタスク識別情報が格納される。 Task identification information for identifying a task is stored in the "task ID" field.
「タスク名」フィールドには、タスク名に関する情報（例えば、テキスト）が格納される。 Information (for example, text) related to the task name is stored in the “task name” field.
複数の「動作環境」フィールドは、タスクにおいて想定される複数の動作環境（例えば、動作環境Ａ、動作環境Ｂ…）に対応する。各「動作環境」フィールドは、「画像」フィールドと、「コマンド」フィールドと、を含む。 The plurality of “operating environment” fields correspond to a plurality of operating environments assumed in the task (for example, operating environment A, operating environment B... ). Each "operating environment" field includes an "image" field and a "command" field.
「画像」フィールドには、各動作環境に対応する画像が格納される。 An image corresponding to each operating environment is stored in the "image" field.
「コマンド」フィールドには、各動作環境において割当可能な複数のコマンドが格納される。コマンドは、例えば、以下の少なくとも１つである。
・動作を表す抽象的な命令（一例として、「パレットに収容された対象物のうち、「１」が付された対象物を掴む」という命令）
・動作を表す駆動パラメータ（例えば、ロボット３０に含まれるジョイント部のジョイント角度の値）
The “command” field stores a plurality of commands that can be assigned in each operating environment. The command is at least one of the following, for example.
-Abstract command that represents a motion (as an example, a command to "grab an object marked with "1" among objects stored in a pallet")
-Drive parameters indicating motion (for example, the value of the joint angle of the joint portion included in the robot 30)
（３−２）学習用データセット
本実施形態の学習用データセットを説明する。図８は、本実施形態の学習用データセットのデータ構造を示す図である。
(3-2) Learning Data Set The learning data set of this embodiment will be described. FIG. 8 is a diagram showing the data structure of the learning data set of this embodiment.
図８の学習用データセットには、学習用データが格納されている。学習用データセットは、タスク識別情報に関連付けられている。
学習用データセットは、「データＩＤ」フィールドと、「時刻」フィールドと、「センサデータ」フィールドと、「特徴量」フィールドと、「コマンド」フィールドと、を含む。
各フィールドは、互いに関連付けられている。
Learning data is stored in the learning data set of FIG. The learning data set is associated with the task identification information.
The learning data set includes a "data ID" field, a "time" field, a "sensor data" field, a "feature amount" field, and a "command" field.
Each field is associated with each other.
「データＩＤ」フィールドには、学習用データを識別する学習用データ識別情報が格納される。 Learning data identification information for identifying learning data is stored in the “data ID” field.
「時刻」フィールドには、センサユニット２０によって動作が検出された時刻が格納される。 The time when the operation is detected by the sensor unit 20 is stored in the “time” field.
「センサデータ」フィールドには、センサユニット２０によって取得されたセンサデータが格納される。センサデータは、例えば、以下の少なくとも１つである。
・静止画データ
・動画データ
・音声データ
The sensor data acquired by the sensor unit 20 is stored in the “sensor data” field. The sensor data is, for example, at least one of the following.
・Still image data ・Video data ・Voice data
「特徴量」フィールドには、ロボット３０の動作環境に対応する特徴量が格納される。 The “feature amount” field stores a feature amount corresponding to the operating environment of the robot 30.
「コマンド」フィールドには、ロボット３０に対する動作命令であるコマンドが格納される。 In the “command” field, a command that is an operation command for the robot 30 is stored.
（４）情報処理
本実施形態の情報処理を説明する。
(4) Information processing The information processing of this embodiment will be described.
（４−１）学習済モデル生成処理
本実施形態の学習済モデル生成処理を説明する。図９は、本実施形態の学習済モデル生成処理のフローチャートである。図１０は、図９の処理において表示される画面例を示す図である。図１１は、図９の処理において生成される学習済モデルのネットワーク図である。
(4-1) Learned Model Generation Process The learned model generation process of this embodiment will be described. FIG. 9 is a flowchart of the learned model generation process of this embodiment. FIG. 10 is a diagram showing an example of a screen displayed in the process of FIG. FIG. 11 is a network diagram of the learned model generated in the processing of FIG.
図９に示すように、学習済モデル生成装置１０は、タスクの指定の受付（Ｓ１１０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０（図１０）をディスプレイに表示する。
As shown in FIG. 9, the learned model generation apparatus 10 receives a task designation (S110).
Specifically, the processor 12 displays the screen P10 (FIG. 10) on the display.
画面Ｐ１０は、操作オブジェクトＢ１０と、フィールドオブジェクトＦ１０と、を含む。
フィールドオブジェクトＦ１０は、タスク識別情報のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ１０は、フィールドオブジェクトＦ１０に対するユーザ入力を確定させるためのオブジェクトである。
The screen P10 includes an operation object B10 and a field object F10.
The field object F10 is an object that receives a user input of task identification information.
The operation object B10 is an object for confirming a user input to the field object F10.
ユーザがフィールドオブジェクトＦ１０に任意のタスク識別情報を入力し、且つ、操作オブジェクトＢ１０を操作すると、プロセッサ１２は、フィールドオブジェクトＦ１０に入力されたタスク識別情報を、学習済モデルの生成の対象となるタスクのタスク識別情報として特定する。 When the user inputs arbitrary task identification information to the field object F10 and operates the operation object B10, the processor 12 uses the task identification information input to the field object F10 as a target for generation of a learned model. Task identification information.
ステップＳ１１０の後、動作命令の受付（Ｓ１１１）を実行する。
具体的には、タスクデータベース（図７）を参照して、ステップＳ１１０で特定したタスク識別情報に関連付けられたレコードを特定する。
プロセッサ１２は、特定したレコードの「動作Ａ」フィールドの「画像」フィールド及び「コマンド」フィールドの組合せに基づく画面Ｐ１１をディスプレイに表示する。
After step S110, acceptance of an operation command (S111) is executed.
Specifically, the task database (FIG. 7) is referenced to identify the record associated with the task identification information identified in step S110.
The processor 12 displays the screen P11 based on the combination of the “image” field and the “command” field of the “action A” field of the specified record on the display.
画面Ｐ１１は、操作オブジェクトＢ１１ａ〜Ｂ１１ｃと、画像オブジェクトＩＭＧ１１と、を含む。
画像オブジェクトＩＭＧ１１は、「動作Ａ」フィールドの「画像」フィールドの画像（つまり、動作環境Ａに対応する画像）である。動作環境Ａは、「１」〜「３」が付された対象物がパレットに収容されている環境である。
操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、「動作Ａ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ａにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、画像オブジェクトＩＭＧ１１において「１」〜「３」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ１１ａ〜Ｂ１１ｃの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。
The screen P11 includes operation objects B11a to B11c and an image object IMG11.
The image object IMG11 is an image in the “image” field of the “action A” field (that is, an image corresponding to the action environment A). The operating environment A is an environment in which the objects marked with “1” to “3” are stored in the pallet.
The operation objects B11a to B11c are each assigned a value in the “command” field of the “motion A” field (that is, a command that can be given to the robot 30 in the motion environment A). For example, each of the operation objects B11a to B11c is assigned a command for executing an operation of grasping an object marked with “1” to “3” in the image object IMG11. When the user operates any of the operation objects B11a to B11c, the command assigned to the object operated by the user is specified.
画面Ｐ１２は、操作オブジェクトＢ１２ａ〜Ｂ１２ｂと、画像オブジェクトＩＭＧ１２と、を含む。
画像オブジェクトＩＭＧ１２は、「動作Ｂ」フィールドの「画像」フィールドの画像（つまり、動作環境Ｂに対応する画像）である。動作環境Ｂは、「１」〜「２」が付された対象物がパレットに収容されている環境である。動作環境Ａでは、「３」が付された対象物がパレットに収容されているのに対して、動作環境Ｂでは、「３」が付された対象物がパレットに存在しない。つまり、動作環境Ｂのパレットにおける対象物の配置は、動作環境Ａとは異なる。
操作オブジェクトＢ１２ａ〜Ｂ１２ｂには、それぞれ、「動作Ｂ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ｂにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ１２ａ〜Ｂ１２ｂには、それぞれ、画像オブジェクトＩＭＧ１２において「１」〜「２」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ１２ａ〜Ｂ１２ｂの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。
The screen P12 includes operation objects B12a and B12b and an image object IMG12.
The image object IMG12 is an image in the “image” field of the “action B” field (that is, an image corresponding to the operation environment B). The operating environment B is an environment in which the objects to which “1” and “2” are attached are stored in the pallet. In operating environment A, the object marked with “3” is stored in the pallet, whereas in operating environment B, the object marked with “3” does not exist in the pallet. That is, the arrangement of the objects on the palette of the operating environment B is different from that of the operating environment A.
The operation objects B12a and B12b are each assigned a value in the "command" field of the "motion B" field (that is, a command that can be given to the robot 30 in the motion environment B). For example, each of the operation objects B12a and B12b is assigned with a command for executing an operation of grabbing an object marked with "1" or "2" in the image object IMG12. When the user operates any of the operation objects B12a and B12b, the command assigned to the object operated by the user is specified.
なお、画面Ｐ１１〜Ｐ１２の遷移は順不同である。 The transitions of the screens P11 to P12 are in random order.
ステップＳ１１１の後、学習済モデル生成装置１０は、コマンドの決定（Ｓ１１２）を実行する。
具体的には、ユーザが操作オブジェクトＢ１１ａを操作すると、プロセッサ１２は、操作オブジェクトＢ１１ａに割り当てられたコマンドを特定する。
プロセッサ１２は、特定されたコマンドをロボット３０に送信する。
After step S111, the learned model generation device 10 determines a command (S112).
Specifically, when the user operates the operation object B11a, the processor 12 identifies the command assigned to the operation object B11a.
The processor 12 sends the specified command to the robot 30.
ロボット３０のプロセッサ３２は、プロセッサ１２から送信されたコマンドに対応する制御信号を生成する。
駆動部３５は、プロセッサ３２により生成された制御信号に従って駆動する。その結果、ロボット３０は、動作環境Ａにおいてユーザの制御命令に応じて動作する。
The processor 32 of the robot 30 generates a control signal corresponding to the command transmitted from the processor 12.
The drive unit 35 drives according to the control signal generated by the processor 32. As a result, the robot 30 operates in the operating environment A according to the control command from the user.
ステップＳ１１２の後、学習済モデル生成装置１０は、センサデータの取得（Ｓ１１３）を実行する。
具体的には、センサユニット２０は、ステップＳ１１２において動作したロボット３０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。
After step S112, the learned model generation device 10 executes acquisition of sensor data (S113).
Specifically, the sensor unit 20 generates sensor data regarding the operating environment of the robot 30 that has operated in step S112.
The processor 12 acquires the sensor data generated by the sensor unit 20.
ステップＳ１１３の後、学習済モデル生成装置１０は、特徴量の抽出（Ｓ１１４）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１３において取得されたセンサデータの特徴量を抽出する。
例えば、センサデータが静止画又は動画である場合、プロセッサ１２は、センサデータに対して画像解析アルゴリズムを適用することにより、動作環境に対応する画像特徴量を抽出する。
例えば、センサデータが音声である場合、プロセッサ１２は、センサデータに対して音声解析アルゴリズムを適用することにより、動作環境に対応する音声特徴量を抽出する。
After step S113, the learned model generation device 10 executes extraction of the characteristic amount (S114).
Specifically, the processor 12 extracts the characteristic amount of the sensor data acquired in step S113.
For example, when the sensor data is a still image or a moving image, the processor 12 extracts the image feature amount corresponding to the operating environment by applying the image analysis algorithm to the sensor data.
For example, when the sensor data is voice, the processor 12 extracts the voice feature amount corresponding to the operating environment by applying the voice analysis algorithm to the sensor data.
ステップＳ１１４の後、学習済モデル生成装置１０は、学習用データセットの生成（Ｓ１１５）を実行する。
具体的には、ステップＳ１１０で特定したタスク識別情報と、新規の学習用データセット（図８）と、を関連付けて記憶装置１１に記憶する。
プロセッサ１２は、ステップＳ１１４で抽出された特徴量と、ステップＳ１１４が実行された時刻と、ステップＳ１１２で特定されたコマンドと、を関連付けて学習用データセットの新規レコードに格納する。
After step S114, the learned model generation device 10 generates a learning data set (S115).
Specifically, the task identification information identified in step S110 and the new learning data set (FIG. 8) are stored in the storage device 11 in association with each other.
The processor 12 stores the feature amount extracted in step S114, the time when step S114 was executed, and the command specified in step S112 in a new record of the learning data set in association with each other.
ステップＳ１１１〜Ｓ１１５は、所定の動作環境の全てについてステップＳ１１５が終了するまで繰り返し実行される（Ｓ１１６）。
所定の動作環境の全てについてステップＳ１１５が終了していない場合（Ｓ１１６−ＮＯ）、ステップＳ１１１が実行される。
所定の動作環境の全てについてステップＳ１１５が終了している場合（Ｓ１１６−ＹＥＳ）、ステップＳ１１７が実行される。
Steps S111 to S115 are repeatedly executed until step S115 is completed for all the predetermined operating environments (S116).
When step S115 has not been completed for all of the predetermined operating environments (S116-NO), step S111 is executed.
When step S115 has been completed for all of the predetermined operating environments (S116-YES), step S117 is executed.
所定の動作環境の全てについてステップＳ１１５が終了している場合（Ｓ１１６−ＹＥＳ）、学習済モデル生成装置１０は、学習済モデルの生成（Ｓ１１７）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１５で生成された学習用データセット（図８）に対して所定の学習アルゴリズムを適用することにより、学習済モデルを生成する。
学習アルゴリズムは、例えば、以下の何れかである。
・ＲＮＮ（Recurrent Neural Network）
・ＬＳＴＭ（Long Short-Term Memory）
・ＣＮＮ（Convolution Neural Network）
・ＳＶＭ（Support Vector Machine）
When step S115 has been completed for all of the predetermined operating environments (S116-YES), the learned model generation device 10 generates a learned model (S117).
Specifically, the processor 12 generates a learned model by applying a predetermined learning algorithm to the learning data set (FIG. 8) generated in step S115.
The learning algorithm is, for example, one of the following.
・RNN (Recurrent Neural Network)
・LSTM (Long Short-Term Memory)
・CNN (Convolution Neural Network)
・SVM (Support Vector Machine)
図１１は、学習済モデルの一例であるＲＮＮのネットワークを示している。 FIG. 11 shows an RNN network which is an example of a learned model.
ＲＮＮのネットワークは、入力Ｘと、出力Ｙと、隠れ要素Ｓと、を含む。 The RNN network includes an input X, an output Y, and a hidden element S.
例えば、ステップｔ１における入力Ｘｔ１は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ１１〜Ｘｔ１３である。
ステップｔ１における隠れ要素Ｓｔ１は、ステップｔ１における動作環境情報（つまり、特徴量）Ｘｔ１１〜Ｘｔ１３の関数である。
ステップｔ１における出力Ｙｔ１は、特徴量Ｘｔ１１〜Ｘｔ１３に基づいて計算される。出力Ｙｔ１は、特徴量Ｘｔ１１〜Ｘｔ１３によって決定される動作環境における動作の予測確率である。出力Ｙｔ１が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。
For example, the input Xt1 in step t1 is the plurality of feature quantities Xt11 to Xt13 extracted in step S114.
The hidden element St1 in step t1 is a function of the operating environment information (that is, the feature amount) Xt11 to Xt13 in step t1.
The output Yt1 in step t1 is calculated based on the feature quantities Xt11 to Xt13. The output Yt1 is a predicted probability of a motion in the motion environment determined by the feature quantities Xt11 to Xt13. An operation in which the output Yt1 is higher than or higher than a predetermined value means an operation to be executed in the operating environment.
ステップｔ２における入力Ｘｔ２は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ２１〜Ｘｔ２３である。
ステップｔ２における隠れ要素Ｓｔ２は、ステップｔ２における動作環境情報（つまり、特徴量）Ｘｔ２１〜Ｘｔ２３の関数である。
ステップｔ２における出力Ｙｔ２は、特徴量Ｘｔ２１〜Ｘｔ２３及び隠れ要素Ｓｔ１の組合せに基づいて計算される。出力Ｙｔ２は、特徴量Ｘｔ２１〜Ｘｔ２３によって決定される動作環境における動作の予測確率である。出力Ｙｔ２が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。
The input Xt2 in step t2 is the plurality of feature quantities Xt21 to Xt23 extracted in step S114.
The hidden element St2 at step t2 is a function of the operating environment information (that is, the feature amount) Xt21 to Xt23 at step t2.
The output Yt2 at step t2 is calculated based on the combination of the feature quantities Xt21 to Xt23 and the hidden element St1. The output Yt2 is a predicted probability of motion in the motion environment determined by the feature quantities Xt21 to Xt23. An operation in which the output Yt2 is higher than or higher than a predetermined value means an operation to be executed in the operating environment.
ステップｔ３における入力Ｘｔ３は、ステップＳ１１４で抽出された複数の特徴量Ｘｔ３１〜Ｘｔ３３である。
ステップｔ３における隠れ要素Ｓｔ３は、ステップｔ３における動作環境情報（つまり、特徴量）Ｘｔ３１〜Ｘｔ３３の関数である。
ステップｔ３における出力Ｙｔ３は、特徴量Ｘｔ３１〜Ｘｔ３３及び隠れ要素Ｓｔ２の組合せに基づいて計算される。出力Ｙｔ３は、特徴量Ｘｔ３１〜Ｘｔ３３によって決定される動作環境における動作の予測確率である。出力Ｙｔ３が所定値より高い、又は、最も高い動作が、当該動作環境において実行すべき動作を意味する。
The input Xt3 in step t3 is the plurality of feature quantities Xt31 to Xt33 extracted in step S114.
The hidden element St3 in step t3 is a function of the operating environment information (that is, the feature amount) Xt31 to Xt33 in step t3.
The output Yt3 in step t3 is calculated based on the combination of the feature quantities Xt31 to Xt33 and the hidden element St2. The output Yt3 is a predicted probability of motion in the motion environment determined by the feature quantities Xt31 to Xt33. The operation in which the output Yt3 is higher than or higher than the predetermined value means the operation to be executed in the operating environment.
プロセッサ３２は、ステップＳ１１０で特定したタスク識別情報と、学習済モデル（図１１）と、を関連付けて記憶装置１１に記憶する。 The processor 32 stores the task identification information identified in step S110 and the learned model (FIG. 11) in the storage device 11 in association with each other.
（４−２）ロボット制御処理
本実施形態のロボット制御処理を説明する。図１２は、本実施形態のロボット制御処理のフローチャートである。図１３は、図１２の処理において表示される画面例を示す図である。
(4-2) Robot control processing The robot control processing of this embodiment will be described. FIG. 12 is a flowchart of the robot control process of this embodiment. FIG. 13 is a diagram showing an example of a screen displayed in the process of FIG.
図１２に示すように、ロボット制御装置５０は、タスクの指定の受付（Ｓ１５０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ２０（図１３）をディスプレイに表示する。
As shown in FIG. 12, the robot control device 50 executes acceptance of designation of a task (S150).
Specifically, the processor 12 displays the screen P20 (FIG. 13) on the display.
画面Ｐ２０は、操作オブジェクトＢ２０と、フィールドオブジェクトＦ２０と、を含む。
フィールドオブジェクトＦ２１０は、タスク識別情報のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ２０は、フィールドオブジェクトＦ２０に対するユーザ入力を確定させるためのオブジェクトである。
The screen P20 includes an operation object B20 and a field object F20.
The field object F210 is an object that receives a user input of task identification information.
The operation object B20 is an object for confirming a user input to the field object F20.
ユーザがフィールドオブジェクトＦ２０に任意のタスク識別情報を入力し、且つ、操作オブジェクトＢ２０を操作すると、プロセッサ１２は、フィールドオブジェクトＦ２０に入力されたタスク識別情報を、実行対象となるタスクのタスク識別情報として特定する。 When the user inputs arbitrary task identification information into the field object F20 and operates the operation object B20, the processor 12 uses the task identification information input into the field object F20 as the task identification information of the task to be executed. Identify.
ステップＳ１５０の後、ロボット制御装置５０は、センサデータの取得（Ｓ１５１）を実行する。
具体的には、センサユニット２０は、制御対象ロボット７０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。
After step S150, the robot control device 50 executes acquisition of sensor data (S151).
Specifically, the sensor unit 20 generates sensor data regarding the operating environment of the controlled robot 70.
The processor 12 acquires the sensor data generated by the sensor unit 20.
ステップＳ１５１の後、ロボット制御装置５０は、特徴量の抽出（Ｓ１５２）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１４（図９）と同様に、ステップＳ１５１において取得されたセンサデータの特徴量を抽出する。
After step S151, the robot controller 50 executes the extraction of the characteristic amount (S152).
Specifically, the processor 12 extracts the feature amount of the sensor data acquired in step S151, as in step S114 (FIG. 9).
ステップＳ１５２の後、ロボット制御装置５０は、コマンドの生成（Ｓ１５３）を実行する。
具体的には、プロセッサ５２は、学習済モデル生成装置１０の記憶装置１１にアクセスして、ステップＳ１５０で特定したタスク識別情報に関連付けられた学習済モデル（図１１）を読み出す。
プロセッサ５２は、読み出した学習済モデルに対して、ステップＳ１５２で抽出された特徴量を入力することにより、制御対象ロボット７０の動作環境に対応するコマンドを生成する。
プロセッサ５２は、生成したコマンドを制御対象ロボット７０に送信する。
After step S152, the robot controller 50 executes command generation (S153).
Specifically, the processor 52 accesses the storage device 11 of the learned model generation device 10 and reads the learned model (FIG. 11) associated with the task identification information identified in step S150.
The processor 52 generates a command corresponding to the operating environment of the controlled robot 70 by inputting the feature amount extracted in step S152 to the read learned model.
The processor 52 transmits the generated command to the controlled robot 70.
制御対象ロボット７０のプロセッサ７２は、プロセッサ５２から送信されたコマンドに対応する制御信号を生成する。
駆動部７５は、プロセッサ７２により生成された制御信号に従って駆動する。
The processor 72 of the controlled robot 70 generates a control signal corresponding to the command transmitted from the processor 52.
The drive unit 75 drives according to the control signal generated by the processor 72.
ステップＳ１５１〜Ｓ１５３は、所定の動作環境の全てについてステップＳ１５３が終了するまで繰り返し実行される（Ｓ１５４）。
所定の動作環境の全てについてステップＳ１５３が終了していない場合（Ｓ１５４−ＮＯ）、ステップＳ１５１が実行される。
所定の動作環境の全てについてステップＳ１５３が終了している場合（Ｓ１５４−ＹＥＳ）、ロボット制御処理が終了する。
Steps S151 to S153 are repeatedly executed until step S153 ends for all of the predetermined operating environments (S154).
When step S153 has not been completed for all of the predetermined operating environments (S154-NO), step S151 is executed.
When step S153 has been completed for all of the predetermined operating environments (S154-YES), the robot control process ends.
本実施形態によれば、ロボット制御装置５０は、学習済モデル生成装置１０によって生成された学習済モデルを参照して、制御対象ロボット７０を制御する。これにより、全ての動作環境に対応する動作を規定することなく、制御対象ロボット７０にタスクを実行させることができる。 According to the present embodiment, the robot control device 50 controls the controlled robot 70 by referring to the learned model generated by the learned model generation device 10. As a result, the controlled robot 70 can be caused to execute a task without prescribing operations corresponding to all operating environments.
（５）変形例
本実施形態の変形例を説明する。
(5) Modified Example A modified example of the present embodiment will be described.
（５−１）変形例１
変形例１を説明する。変形例１は、動作環境の代替例である。図１４は、変形例１の情報処理において表示される画面例を示す図である。
(5-1) Modification 1
Modification 1 will be described. Modification 1 is an alternative example of the operating environment. FIG. 14 is a diagram showing a screen example displayed in the information processing of the first modification.
ステップＳ１１１（図９）において、プロセッサ１２は、特定したレコードの「動作Ｃ」フィールドの「画像」フィールド及び「コマンド」フィールドの組合せに基づく画面Ｐ２０（図１４）をディスプレイに表示する。 In step S111 (FIG. 9), the processor 12 displays the screen P20 (FIG. 14) based on the combination of the “image” field and the “command” field of the “motion C” field of the specified record on the display.
画面Ｐ２０は、操作オブジェクトＢ２０ａ〜Ｂ２０ｃと、画像オブジェクトＩＭＧ２０と、を含む。
画像オブジェクトＩＭＧ２０は、「動作Ｃ」フィールドの「画像」フィールドの画像（つまり、動作環境Ｃに対応する画像）である。動作環境Ｃは、「４」〜「６」が付された対象物がパレットに収容されている環境である。動作環境Ａでは、丸型の対象物が３スロットを有するパレットに収容されているのに対して、動作環境Ｂでは、矩形型の対象物が６スロットを有するパレットに収容されている。つまり、動作環境Ｂのパレット及び対象物は、動作環境Ａとは異なる。
操作オブジェクトＢ２０ａ〜Ｂ２０ｃには、それぞれ、「動作Ｃ」フィールドの「コマンド」フィールドの値（つまり、動作環境Ｃにおいてロボット３０に与えることができるコマンド）が割り当てられている。例えば、操作オブジェクトＢ２０ａ〜Ｂ２０ｃには、それぞれ、画像オブジェクトＩＭＧ２０において「４」〜「６」が付された対象物を掴む動作を実行させるためのコマンドが割り当てられている。ユーザが操作オブジェクトＢ２０ａ〜Ｂ２０ｃの何れかを操作すると、ユーザによって操作されたオブジェクトに割り当てられたコマンドが特定される。
The screen P20 includes operation objects B20a to B20c and an image object IMG20.
The image object IMG20 is an image in the “image” field of the “motion C” field (that is, an image corresponding to the motion environment C). The operating environment C is an environment in which the objects marked with “4” to “6” are stored in the pallet. In operating environment A, round objects are contained in a pallet having 3 slots, whereas in operating environment B rectangular objects are contained in a pallet having 6 slots. That is, the pallet and the object of the operating environment B are different from those of the operating environment A.
The values of the “command” field of the “motion C” field (that is, the commands that can be given to the robot 30 in the motion environment C) are assigned to the operation objects B20a to B20c, respectively. For example, each of the operation objects B20a to B20c is assigned with a command for executing an operation of grasping an object marked with “4” to “6” in the image object IMG20. When the user operates any of the operation objects B20a to B20c, the command assigned to the object operated by the user is specified.
なお、画面Ｐ１１〜Ｐ２０の遷移は順不同である。 The transitions of the screens P11 to P20 are in random order.
（５−２）変形例２
変形例２を説明する。変形例２は、センサデータがロボット３０の物理量に関するデータである例である。
(5-2) Modification 2
Modification 2 will be described. Modification 2 is an example in which the sensor data is data relating to the physical quantity of the robot 30.
変形例２のセンサユニット２０は、ロボット３０の物理量に関するセンサデータを取得する。
ロボット３０の物理量は、例えば、以下の少なくとも１つを含む。
・ロボット３０に配置された力覚センサにかかる力
・ロボット３０に配置されたトルクセンサによって取得された各軸にかかるトルク
・ロボット３０に配置された圧力センサの接触面にかかる圧力
・ロボット３０に配置された電圧センサによって取得された電圧（具体的には、ロボット３０の各軸を動かす際に生じた電圧）
・ロボット３０又はロボット３０の周囲に配置された温度センサによって取得された温度
The sensor unit 20 of the second modification acquires sensor data regarding the physical quantity of the robot 30.
The physical quantity of the robot 30 includes at least one of the following, for example.
-The force applied to the force sensor arranged in the robot 30-The torque applied to each axis obtained by the torque sensor arranged in the robot 30-The pressure applied to the contact surface of the pressure sensor arranged in the robot 30-The robot 30 Voltage acquired by the voltage sensor arranged (specifically, voltage generated when moving each axis of the robot 30)
-Temperature acquired by the robot 30 or a temperature sensor arranged around the robot 30
変形例２のセンサデータは、本実施形態のセンサデータ（静止画、動画、及び、音声の少なくとも１つ）と代替又は組合せ可能である。 The sensor data of Modification 2 can be replaced or combined with the sensor data of the present embodiment (at least one of a still image, a moving image, and a sound).
変形例２によれば、ロボット３０の物理量を用いた場合であっても、全ての動作環境に対応する動作を規定することなく、ロボット３０にタスクを実行させることができる。 According to the second modification, even when the physical quantity of the robot 30 is used, the robot 30 can be caused to execute a task without prescribing operations corresponding to all operating environments.
（５−３）変形例３
変形例３を説明する。変形例３は、本実施形態のタスク（以下「親タスク」という）に関連付けられる子タスクが存在する例である。
(5-3) Modification 3
Modification 3 will be described. Modification 3 is an example in which a child task associated with the task of the present embodiment (hereinafter referred to as “parent task”) exists.
（５−３−１）子タスクデータベース
変形例３の子タスクデータベースを説明する。図１５は、変形例３の子タスクデータベースのデータ構造を示す図である。
(5-3-1) Child Task Database The child task database of Modification 3 will be described. FIG. 15 is a diagram showing a data structure of the child task database according to the modified example 3.
図１５の子タスクデータベースには、子タスクに関する子タスク情報が格納される。子タスクデータベースは、タスク識別情報に関連付けられている。子タスクデータベースは、学習用データセットの一例である。
子タスクデータベースは、「子タスクＩＤ」フィールドと、「時刻」フィールドと、「コマンド」フィールドと、「センサデータ」フィールドと、を含む。
各フィールドは、互いに関連付けられている。
The child task database of FIG. 15 stores child task information regarding child tasks. The child task database is associated with the task identification information. The child task database is an example of a learning data set.
The child task database includes a "child task ID" field, a "time" field, a "command" field, and a "sensor data" field.
Each field is associated with each other.
「子タスクＩＤ」フィールドには、子タスクを識別する子タスク識別情報が格納される。 The "child task ID" field stores child task identification information for identifying the child task.
「時刻」フィールドには、センサユニット２０によって動作が検出された時刻が格納される。 The time when the operation is detected by the sensor unit 20 is stored in the “time” field.
「コマンド」フィールドには、ロボット３０に対する動作命令であるコマンド（例えば、ロボット３０に配置されるｎ（ｎ＝１以上の整数）個の軸１〜軸ｎのジョイント角度の値）が格納される。 In the “command” field, a command that is an operation command for the robot 30 (for example, a value of a joint angle of n (n=1 or more) axis 1 to axis n arranged on the robot 30) is stored. ..
「特徴量」フィールドには、ロボット３０の動作環境に対応する特徴量が格納される。 The “feature amount” field stores a feature amount corresponding to the operating environment of the robot 30.
（５−３−３）情報処理
変形例３の情報処理を説明する。図１６は、変形例３の学習済モデル生成処理のフローチャートである。図１７は、変形例３の学習済モデルのネットワーク図である。
(5-3-3) Information Processing The information processing of Modification 3 will be described. FIG. 16 is a flowchart of the learned model generation process of the modified example 3. FIG. 17 is a network diagram of the learned model of Modification 3.
図１６に示すように、学習済モデル生成装置１０は、動作入力（Ｓ２１０）を実行する。
具体的には、ユーザがタスク識別情報を指定し、且つ、ロボット３０ａを操作すると、ロボット３０ａは、ユーザの操作に応じたジョイント角度での動作を実行する。
プロセッサ１２は、ロボット３０ａから、実行された動作の制御パラメータ（例えば、ジョイント角度の値）を取得する。
As illustrated in FIG. 16, the learned model generation device 10 executes a motion input (S210).
Specifically, when the user specifies the task identification information and operates the robot 30a, the robot 30a executes the operation at the joint angle according to the user's operation.
The processor 12 acquires the control parameter (for example, the value of the joint angle) of the executed operation from the robot 30a.
ステップＳ２１０の後、学習済モデル生成装置１０は、動作出力（Ｓ２１１）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１０で取得した制御パラメータをロボット３０ｂに出力する。
After step S210, the learned model generation device 10 executes the operation output (S211).
Specifically, the processor 12 outputs the control parameter acquired in step S210 to the robot 30b.
ステップＳ２１１の後、学習済モデル生成装置１０は、センサデータの取得（Ｓ２１２）を実行する。
具体的には、ロボット３０ｂは、ステップＳ２１１で出力された制御パラメータに応じて動作する。
センサユニット２０は、センサユニット２０は、ステップＳ１１２において動作したロボット３０の動作環境に関するセンサデータを生成する。
プロセッサ１２は、センサユニット２０によって生成されたセンサデータを取得する。
After step S211, the learned model generation device 10 executes acquisition of sensor data (S212).
Specifically, the robot 30b operates according to the control parameter output in step S211.
The sensor unit 20 produces|generates the sensor data regarding the operating environment of the robot 30 which operated in step S112.
The processor 12 acquires the sensor data generated by the sensor unit 20.
ステップＳ２１２の後、学習済モデル生成装置１０は、特徴量の抽出（Ｓ２１３）を実行する。
具体的には、プロセッサ１２は、ステップＳ１１３において取得されたセンサデータの特徴量を抽出する。
After step S212, the learned model generation device 10 executes extraction of a feature amount (S213).
Specifically, the processor 12 extracts the characteristic amount of the sensor data acquired in step S113.
ステップＳ２１３の後、学習済モデル生成装置１０は、学習用データセットの生成（Ｓ２１４）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１０でユーザによって指定されたタスク識別情報に関連付けられた子タスクデータベース（図１５）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
「子タスクＩＤ」フィールドには、新規の子タスク識別情報が格納される。
「時間」フィールドには、ステップＳ２１２でセンサデータが取得された時刻の値が格納される。
「コマンド」フィールドには、ステップＳ２１０で取得された制御パラメータが格納される。
「センサデータ」フィールドには、ステップＳ２１２で取得されたセンサデータが格納される。
After step S213, the learned model generation device 10 generates a learning data set (S214).
Specifically, the processor 12 adds a new record to the child task database (FIG. 15) associated with the task identification information designated by the user in step S210. The following information is stored in each field of the new record.
New child task identification information is stored in the "child task ID" field.
The value of the time when the sensor data was acquired in step S212 is stored in the "time" field.
The control parameter acquired in step S210 is stored in the "command" field.
The sensor data acquired in step S212 is stored in the "sensor data" field.
ステップＳ２１０〜Ｓ２１４は、所定の動作環境の全てについてステップＳ２１４が終了するまで繰り返し実行される（Ｓ２１５）。
所定の動作環境の全てについてステップＳ２１４が終了していない場合（Ｓ２１５−ＮＯ）、ステップＳ２１０が実行される。
所定の動作環境の全てについてステップＳ２１４が終了している場合（Ｓ２１５−ＹＥＳ）、ステップＳ２１６が実行される。
Steps S210 to S214 are repeatedly executed until step S214 is completed for all the predetermined operating environments (S215).
When step S214 has not been completed for all of the predetermined operating environments (S215-NO), step S210 is executed.
When step S214 has been completed for all of the predetermined operating environments (S215-YES), step S216 is executed.
学習済モデル生成装置１０は、学習済モデルの生成（Ｓ２１６）を実行する。
具体的には、プロセッサ１２は、ステップＳ２１５で生成された学習用データセット（図１５）に対して所定の学習アルゴリズム（例えば、ＲＮＮ又はＬＳＴＭ）を適用することにより、学習済モデルを生成する。
The learned model generation device 10 executes generation of a learned model (S216).
Specifically, the processor 12 generates a learned model by applying a predetermined learning algorithm (eg, RNN or LSTM) to the learning data set (FIG. 15) generated in step S215.
図１７は、変形例３の学習済モデルの一例であるＲＮＮのネットワークを示している。この学習済モデルは、上位レイヤのネットワーク（図１７Ａ）と、下位レイヤのネットワーク（図１７Ｂ）と、を含む。 FIG. 17 shows a network of RNNs, which is an example of a trained model of Modification 3. This learned model includes an upper layer network (FIG. 17A) and a lower layer network (FIG. 17B).
上位レイヤのネットワーク（図１７Ａ）は、本実施形態のネットワーク（図１１）と同様である。 The upper layer network (FIG. 17A) is the same as the network (FIG. 11) of this embodiment.
下位レイヤのネットワーク（図１７Ｂ）には、ＤＣＡＥ（Deep Convolutional. Autoencoder）アルゴリズムが用いられる。下位レイヤのネットワークは、複数段のオートエンコーダを含む。最上位段のオートエンコーダには、センサユニット２０によって生成されたセンサデータが入力される。各段のオートエンコーダは、センサデータの次元を圧縮することにより、特徴量を抽出する。抽出された特徴量は、ｙ（ジョイント角度）と関連付けられる。 A DCAE (Deep Convolutional. Autoencoder) algorithm is used for the network of the lower layer (FIG. 17B). The lower layer network includes multiple stages of auto encoders. The sensor data generated by the sensor unit 20 is input to the highest-order auto encoder. The auto encoder at each stage extracts the feature amount by compressing the dimension of the sensor data. The extracted feature amount is associated with y (joint angle).
変形例３のプロセッサ３２は、ステップＳ２１０でユーザによって指定されたタスク識別情報と、学習済モデル（図１７）と、を関連付けて記憶装置１１に記憶する。 The processor 32 of Modification 3 stores the task identification information designated by the user in step S210 and the learned model (FIG. 17) in the storage device 11 in association with each other.
変形例３によれば、親タスクを構成する詳細な小タスクの単位で用意された学習用データセットから学習済モデルを生成する。これにより、小タスクの単位での学習を実現することができる。この場合、ユーザは、小タスクの単位で動作命令を与えれば良いので、ユーザの動作命令を与えることの難易度を低減することができる。 According to the modified example 3, the learned model is generated from the learning data set prepared in the unit of the detailed small task that constitutes the parent task. As a result, learning can be realized in units of small tasks. In this case, the user only has to give the operation command in units of small tasks, so that it is possible to reduce the difficulty level of giving the user's operation command.
（６）本実施形態の小括
本実施形態を小括する。
(6) Summary of the present embodiment The present embodiment will be summarized.
本実施形態の第１態様は、
複数の動作から構成されるタスクを実行するロボット３０の動作に関する学習済モデルを生成する学習済モデル生成装置１０であって、
ロボット３０の複数の動作環境のそれぞれに関するセンサデータを取得する手段（例えば、ステップＳ１１３の処理を実行するプロセッサ１２）を備え、
センサデータから、動作環境を表す特徴量を抽出する手段（例えば、ステップＳ１１４の処理を実行するプロセッサ１２）を備え、
抽出された特徴量と、動作（例えば、コマンド）と、が関連付けられた学習用データセットを記憶する手段（例えば、ステップＳ１１５の処理を実行するプロセッサ１２）を備え、
学習用データセットを参照して、動作環境及び動作の関係が規定された学習済モデルを生成する手段（例えば、ステップＳ１１７の処理を実行するプロセッサ１２）を備える、
学習済モデル生成装置１０である。
The first aspect of the present embodiment is
A trained model generation device 10 for generating a trained model relating to a motion of a robot 30 that executes a task including a plurality of motions,
The robot 30 is provided with a unit (for example, the processor 12 that executes the process of step S113) that acquires sensor data regarding each of a plurality of operating environments,
A unit (for example, the processor 12 that executes the process of step S114) for extracting a feature amount representing an operating environment from the sensor data is provided,
A means (for example, the processor 12 that executes the process of step S115) that stores the learning data set in which the extracted feature amount and the action (for example, command) are associated with each other,
The learning data set is referred to, and means for generating a learned model in which the relationship between the operating environment and the operation is defined (for example, the processor 12 that executes the process of step S117) is provided.
This is the learned model generation device 10.
本実施形態の第２態様は、
動作環境は、動画、静止画、及び、音声の少なくとも１つである、
学習済モデル生成装置１０である。
The second aspect of the present embodiment is
The operating environment is at least one of a moving image, a still image, and a sound,
This is the learned model generation device 10.
本実施形態の第３態様は、
センサデータを取得する手段は、センサからロボット３０の物理量に関するセンサデータを取得する、
学習済モデル生成装置１０である。
The third aspect of the present embodiment is
The means for acquiring the sensor data acquires the sensor data regarding the physical quantity of the robot 30 from the sensor,
This is the learned model generation device 10.
本実施形態の第４態様は、
センサデータは、センサ部にかかる力、ロボット３０の各軸にかかるトルク、センサの接触面にかかる圧力、温度、及び、ロボット３０の各軸を動かす際に生じた電圧の少なくとも１つを含む、
学習済モデル生成装置１０である。
The fourth aspect of the present embodiment is
The sensor data includes at least one of a force applied to the sensor unit, a torque applied to each axis of the robot 30, a pressure applied to a contact surface of the sensor, a temperature, and a voltage generated when moving each axis of the robot 30,
This is the learned model generation device 10.
本実施形態の第５態様は、
タスクを識別するタスク識別情報と、学習用データセットと、を関連付けて記憶する手段（例えば、図８の学習用データセット）を備える、
学習済モデル生成装置１０である。
The fifth aspect of the present embodiment is
A means (for example, the learning data set in FIG. 8) that stores the task identification information for identifying the task and the learning data set in association with each other,
This is the learned model generation device 10.
本実施形態の第６態様は、
タスクを識別するタスク識別情報と、学習済モデルと、を関連付けて記憶する手段（例えば、ステップＳ１１７の処理を実行するプロセッサ１２）を備える、
学習済モデル生成装置１０である。
The sixth aspect of the present embodiment is
A means for storing the task identification information for identifying the task and the learned model in association with each other (for example, the processor 12 that executes the process of step S117),
This is the learned model generation device 10.
本実施形態の第７態様は、
学習用データセットは、タスクを構成する複数の子タスク毎に、特徴量と、動作と、が関連付けられており、
学習済モデルを生成する手段は、タスクに対応する上位ネットワークと、子タスクに対応する下位ネットワークと、に特徴量及び動作の組合せを入力することにより、学習済モデルを生成する、
学習済モデル生成装置１０である。
A seventh aspect of the present embodiment is
In the learning data set, the feature amount and the action are associated with each other for each of a plurality of child tasks that make up the task,
A means for generating a learned model generates a learned model by inputting a combination of a feature amount and a motion to a higher-order network corresponding to a task and a lower-order network corresponding to a child task,
This is the learned model generation device 10.
本実施形態の第８態様は、
生成する手段は、学習用データセットに対して、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolution Neural Network）、又は、ＳＶＭ（Support Vector Machine）を適用することにより、学習済モデルを生成する、
学習済モデル生成装置１０である。
The eighth aspect of the present embodiment is
The means for generating is to apply RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), CNN (Convolution Neural Network), or SVM (Support Vector Machine) to the learning data set, Generate a trained model,
This is the learned model generation device 10.
本実施形態の第９態様は、
上記の学習済モデル生成装置１０によって生成された学習済モデルにアクセス可能なロボット制御装置５０であって、
制御対象となるロボット３０の動作環境に関するセンサデータを取得する手段を備え、
センサデータの特徴量を抽出する手段を備え、
抽出された特徴量を学習済モデルに入力することにより、動作環境に対応するコマンドを生成する手段を備え、
コマンドを制御対象ロボット７０に送信することにより、制御対象ロボット７０を動作させる手段を備える、
ロボット制御装置５０である。
The ninth aspect of the present embodiment is
A robot control device 50 capable of accessing the learned model generated by the learned model generation device 10 as described above,
A means for acquiring sensor data related to the operating environment of the robot 30 to be controlled,
Equipped with means for extracting the feature amount of sensor data,
By inputting the extracted feature amount to the learned model, a means for generating a command corresponding to the operating environment is provided,
A means for operating the controlled robot 70 by transmitting a command to the controlled robot 70,
The robot controller 50.
本実施形態の第１０態様は、コンピュータ（例えば、プロセッサ１２又は５２）を、上記の何れかに記載の各手段として機能させるためのプログラムである。 A tenth aspect of the present embodiment is a program for causing a computer (for example, the processor 12 or 52) to function as each unit described in any of the above.
（７）その他の変形例
その他の変形例を説明する。
(7) Other Modifications Other modifications will be described.
記憶装置１１は、ネットワークを介して、学習済モデル生成装置１０と接続されてもよい。
記憶装置５１は、ネットワークを介して、ロボット制御装置５０と接続されてもよい。
The storage device 11 may be connected to the trained model generation device 10 via a network.
The storage device 51 may be connected to the robot control device 50 via a network.
学習済モデル生成装置１０とロボット制御装置５０は、同一の装置であっても良い（つまり、一体的に構成されても良い）。 The learned model generation device 10 and the robot control device 50 may be the same device (that is, may be integrally configured).
学習済モデル生成処理（図９）において使用されるロボット３０と、ロボット制御処理（図１２）において使用される制御対象ロボット７０は、同一のロボットであっても良いし、異なるロボットであっても良い。 The robot 30 used in the learned model generation process (FIG. 9) and the control target robot 70 used in the robot control process (FIG. 12) may be the same robot or different robots. good.
ロボット３０に対するユーザの動作命令を受け付ける方法は、図１０の例に限られない。例えば、ロボット３０と接続されたハプティクスデバイスに対するユーザの操作を介して、ロボット３０に対して動作命令を与えても良い。 The method of receiving a user's operation command for the robot 30 is not limited to the example of FIG. For example, a motion command may be given to the robot 30 through a user's operation on a haptics device connected to the robot 30.
図１の例では、センサユニット２０は、学習済モデル生成装置１０と接続される例を示したが、これに限られない。センサユニット２０は、ロボット３０を介して、学習済モデル生成装置１０と接続されても良い。この場合、学習済モデル生成装置１０は、ロボット３０を介して、センサデータを取得する。
なお、センサユニット２０は、ロボット３０に配置されても良い。
In the example of FIG. 1, the sensor unit 20 is connected to the learned model generation device 10, but the present invention is not limited to this. The sensor unit 20 may be connected to the learned model generation device 10 via the robot 30. In this case, the learned model generation device 10 acquires sensor data via the robot 30.
The sensor unit 20 may be arranged in the robot 30.
図１の例では、センサユニット２０は、ロボット制御装置５０と接続される例を示したが、これに限られない。センサユニット２０は、制御対象ロボット７０を介して、ロボット制御装置５０と接続されても良い。この場合、ロボット制御装置５０は、制御対象ロボット７０を介して、センサデータを取得する。
なお、センサユニット２０は、制御対象ロボット７０に配置されても良い。
In the example of FIG. 1, the sensor unit 20 is connected to the robot controller 50, but the sensor unit 20 is not limited to this. The sensor unit 20 may be connected to the robot control device 50 via the controlled robot 70. In this case, the robot control device 50 acquires sensor data via the controlled robot 70.
The sensor unit 20 may be arranged in the control target robot 70.
本実施形態では、特徴量の抽出（Ｓ１５２）及びコマンドの生成（Ｓ１５３）をロボット制御装置５０が実行する例を示したが、ステップＳ１５２〜Ｓ１５３の実行主体はこれに限られない。制御対象ロボット７０がステップＳ１５２〜Ｓ１５３を実行しても良い。この場合、制御対象ロボット７０のプロセッサ７２は、ステップＳ１１４（図９）と同様に、ステップＳ１５１において取得されたセンサデータの特徴量を抽出する。プロセッサ７２は、記憶装置１１に記憶された学習済モデルに当該特徴量を入力することにより、制御対象ロボット７０の動作環境に対応する制御信号を生成する。 In the present embodiment, the example in which the robot controller 50 executes the extraction of the characteristic amount (S152) and the generation of the command (S153) has been described, but the execution subject of steps S152 to S153 is not limited to this. The controlled robot 70 may execute steps S152 to S153. In this case, the processor 72 of the controlled robot 70 extracts the characteristic amount of the sensor data acquired in step S151, as in step S114 (FIG. 9). The processor 72 inputs the feature amount into the learned model stored in the storage device 11 to generate a control signal corresponding to the operating environment of the controlled robot 70.
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described above in detail, the scope of the present invention is not limited to the above embodiments. In addition, the above-described embodiment can be variously modified and changed without departing from the gist of the present invention. Further, the above-described embodiments and modified examples can be combined.
１ ：情報処理システム
１０ ：学習済モデル生成装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２０ ：センサユニット
２０ ：センサ
３０ ：ロボット
３１ ：記憶装置
３２ ：プロセッサ
３４ ：通信インタフェース
３５ ：駆動部
５０ ：ロボット制御装置
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
７０ ：制御対象ロボット
７１ ：記憶装置
７２ ：プロセッサ
７４ ：通信インタフェース
７５ ：駆動部
1: Information processing system 10: Learned model generation device 11: Storage device 12: Processor 13: Input/output interface 14: Communication interface 20: Sensor unit 20: Sensor 30: Robot 31: Storage device 32: Processor 34: Communication interface 35 : Drive unit 50: Robot controller 51: Storage device 52: Processor 53: Input/output interface 54: Communication interface 70: Controlled robot 71: Storage device 72: Processor 74: Communication interface 75: Drive unit
Claims (10)
前記ロボットの複数の動作環境のそれぞれに関するセンサデータを取得する手段を備え、
前記センサデータから、オートエンコーダにより、前記動作環境を表す特徴量を抽出する手段を備え、
前記抽出された特徴量と、前記動作と、が関連付けられた学習用データセットを生成する手段を備え、
前記学習用データセットを参照して、前記動作環境及び前記動作の関係が規定された学習済モデルを生成する手段を備える、
学習済モデル生成装置。 A trained model generation device for generating a trained model relating to a motion of a robot that executes a task composed of a plurality of motions,
A means for acquiring sensor data for each of a plurality of operating environments of the robot,
From the sensor data, by means of an auto encoder, a means for extracting a feature amount representing the operating environment,
A means for generating a learning data set in which the extracted feature quantity and the operation are associated with each other,
A means for generating a learned model in which the relationship between the operating environment and the operation is defined with reference to the learning data set,
Trained model generator.
請求項１に記載の学習済モデル生成装置。 The operating environment is at least one of a moving image, a still image, and a sound,
The learned model generation device according to claim 1.
請求項１又は２に記載の学習済モデル生成装置。 The means for acquiring the sensor data acquires sensor data relating to the physical quantity of the robot from the sensor,
The trained model generation device according to claim 1 or 2.
請求項３に記載の学習済モデル生成装置。 The sensor data is at least one of a force applied to the sensor unit, a torque applied to each axis of the robot, a pressure applied to a contact surface of the sensor, a temperature, and a voltage generated when moving each axis of the robot. including,
The trained model generation device according to claim 3.
請求項１〜４の何れかに記載の学習済モデル生成装置。 A task identification information for identifying the task, and a means for storing the learning data set in association with each other,
The learned model generation device according to any one of claims 1 to 4.
請求項１〜５の何れかに記載の学習済モデル生成装置。 And a means for storing task identification information for identifying a task and the learned model in association with each other,
The learned model generation device according to any one of claims 1 to 5.
前記学習済モデルを生成する手段は、前記タスクに対応する上位ネットワークと、前記子タスクに対応する下位ネットワークと、に前記特徴量及び前記動作の組合せを入力することにより、前記学習済モデルを生成する、
請求項１〜６の記載の学習済モデル生成装置。 In the learning data set, the feature amount and the operation are associated with each other for each of a plurality of child tasks constituting the task,
The means for generating the learned model generates the learned model by inputting the combination of the feature quantity and the operation to the upper network corresponding to the task and the lower network corresponding to the child task. To do
The learned model generation device according to claim 1.
請求項１〜７の何れかに記載の学習済モデル生成装置。 The means for generating may apply RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), CNN (Convolution Neural Network), or SVM (Support Vector Machine) to the learning data set. To generate the trained model,
The learned model generation device according to any one of claims 1 to 7.
制御対象となる制御対象ロボットの動作環境に関するセンサデータを取得する手段を備え、
前記センサデータの特徴量を抽出する手段を備え、
前記抽出された特徴量を前記学習済モデルに入力することにより、前記動作環境に対応するコマンドを生成する手段を備え、
前記コマンドを前記制御対象ロボットに送信することにより、前記制御対象ロボットを動作させる手段を備える、
ロボット制御装置。 A robot controller capable of accessing a learned model generated by the learned model generating device according to claim 1.
A means for acquiring sensor data regarding the operating environment of the controlled robot to be controlled is provided,
A means for extracting the characteristic amount of the sensor data,
A means for generating a command corresponding to the operating environment by inputting the extracted feature quantity into the learned model,
A means for operating the controlled robot by transmitting the command to the controlled robot,
Robot controller.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019220468A JP2020113262A (en) | 2019-12-05 | 2019-12-05 | Learned-model generation device, robot control device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019220468A JP2020113262A (en) | 2019-12-05 | 2019-12-05 | Learned-model generation device, robot control device, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019005103A Division JP6632095B1 (en) | 2019-01-16 | 2019-01-16 | Learned model generation device, robot control device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020113262A true JP2020113262A (en) | 2020-07-27 |
Family
ID=71667111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019220468A Pending JP2020113262A (en) | 2019-12-05 | 2019-12-05 | Learned-model generation device, robot control device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020113262A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022107207A1 (en) * | 2020-11-17 | 2022-05-27 | 日本電気株式会社 | Information collecting device, information collecting method, and storage medium |
| JP2022087541A (en) * | 2020-12-01 | 2022-06-13 | 株式会社エクサウィザーズ | Generation method, information processing device, program, and generation system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018030185A (en) * | 2016-08-23 | 2018-03-01 | ファナック株式会社 | Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperation with each other |
| JP2018206286A (en) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | Operation prediction system and operation prediction method |
-
2019
- 2019-12-05 JP JP2019220468A patent/JP2020113262A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018030185A (en) * | 2016-08-23 | 2018-03-01 | ファナック株式会社 | Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperation with each other |
| JP2018206286A (en) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | Operation prediction system and operation prediction method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022107207A1 (en) * | 2020-11-17 | 2022-05-27 | 日本電気株式会社 | Information collecting device, information collecting method, and storage medium |
| JP7468694B2 (en) | 2020-11-17 | 2024-04-16 | 日本電気株式会社 | Information collection device, information collection method, and program |
| JP2022087541A (en) * | 2020-12-01 | 2022-06-13 | 株式会社エクサウィザーズ | Generation method, information processing device, program, and generation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017159614A1 (en) | Learning service provision device | |
| Pervez et al. | Learning deep movement primitives using convolutional neural networks | |
| JP2020110894A (en) | Learned-model generation device, robot control device, and program | |
| JP6671694B1 (en) | Machine learning device, machine learning system, data processing system, and machine learning method | |
| JP2018206286A (en) | Operation prediction system and operation prediction method | |
| CN113826051A (en) | Generating digital twins of interactions between solid system parts | |
| JP7458741B2 (en) | Robot control device and its control method and program | |
| EP4162400A1 (en) | Off-line learning for robot control using a reward prediction model | |
| JP2020113262A (en) | Learned-model generation device, robot control device, and program | |
| CN109605370A (en) | Control method and device, the control system of robot of robot | |
| KR101912918B1 (en) | Learning robot and method for task skill using thereof | |
| JP2021501433A (en) | Generation of control system for target system | |
| EP4014165A1 (en) | Data-driven robot control | |
| JP7105825B2 (en) | Training system, method and navigation robot for visual navigation | |
| US20210349470A1 (en) | Dynamically refining markers in an autonomous world model | |
| CN114516060A (en) | Apparatus and method for controlling a robotic device | |
| EP3992856A1 (en) | Method and system for operating a device by using hierarchical reinforcement learning | |
| US20110307893A1 (en) | Role-based automation scripts | |
| CN113495540A (en) | System and method for operation and design of industrial systems | |
| US20230330854A1 (en) | Movement planning device, movement planning method, and non-transitory computer readable medium | |
| WO2022239310A1 (en) | Information processing device, information processing method, and program | |
| US20220297298A1 (en) | Data generation device, data generation method, control device, control method, and computer program product | |
| WO2022270319A1 (en) | Motion data management system, motion data management method, and program | |
| US20220134545A1 (en) | Information processing device, information processing method, and computer program product | |
| Danielsen | Vision-based robotic grasping in simulation using deep reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230725 |