JP2018149670A - 学習対象装置及び動作方法 - Google Patents
学習対象装置及び動作方法 Download PDFInfo
- Publication number
- JP2018149670A JP2018149670A JP2018023614A JP2018023614A JP2018149670A JP 2018149670 A JP2018149670 A JP 2018149670A JP 2018023614 A JP2018023614 A JP 2018023614A JP 2018023614 A JP2018023614 A JP 2018023614A JP 2018149670 A JP2018149670 A JP 2018149670A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- display
- control unit
- remote operation
- robot arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 60
- 238000010801 machine learning Methods 0.000 claims abstract description 70
- 238000004891 communication Methods 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 64
- 238000013528 artificial neural network Methods 0.000 description 44
- 210000002569 neuron Anatomy 0.000 description 28
- 238000003860 storage Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 25
- 230000010365 information processing Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 239000012636 effector Substances 0.000 description 8
- 238000013480 data collection Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る学習装置及び学習対象装置の適用場面の一例を模式的に例示する。
[ハードウェア構成]
<学習装置>
次に、図2を用いて、本実施形態に係る学習装置1のハードウェア構成の一例について説明する。図2は、本実施形態に係る学習装置1のハードウェア構成の一例を模式的に例示する。
次に、図3及び図4を更に用いて、本実施形態に係るロボットアームシステム2のハードウェア構成の一例について説明する。図3は、本実施形態に係るRC20のハードウェア構成の一例を模式的に例示する。図4は、本実施形態に係るロボットアーム30の動作状態の一例を模式的に例示する。図1及び図3に示されるとおり、本実施形態に係るロボットアームシステム2は、RC20、ロボットアーム30、カメラ31、及びディスプレイ32を備える。以下、各構成要素について説明する。
まず、RC20について説明する。本実施形態に係るRC20は、制御部21、記憶部22、外部インタフェース23、及び通信インタフェース24が電気的に接続されたコンピュータである。これにより、RC20は、ロボットアーム30、カメラ31、及びディスプレイ32の動作を制御するように構成される。なお、図3では、外部インタフェース及び通信インタフェースを「外部I/F」及び「通信I/F」と記載している。
次に、ロボットアーム30について説明する。ロボットアーム30は、所望の作業を実施可能に適宜構成されてよい。図4の例では、ロボットアーム30は、起点となる基台部301、可動軸となる2つの関節部302、骨格を形成する2つのリンク部303、及び先端に取り付けられるエンドエフェクタ304を備えている。
本実施形態では、ディスプレイ32は、ロボットアームシステム2(ロボットアーム30)のステータスを表示するのに利用される。そのため、ディスプレイ32は、当該ステータスを表示可能であれば特に限定されなくてもよく、公知の液晶ディスプレイ、タッチパネルディスプレイ等が用いられてよい。
本実施形態では、カメラ31は、ロボットアームシステム2(ロボットアーム30)の可動範囲308の状況を撮影するように配置される。これにより、カメラ31により撮影された撮影画像には、可動範囲308の状況が映る。この撮影画像は、可動範囲308の状況を示す状況情報の一例である。なお、カメラ31は、所定の場所に固定されてもよいし、モータ等により撮影方向(向き)を変更可能に構成されてもよい。カメラ31には、一般のデジタルカメラ、ビデオカメラ、360度カメラ等が用いられてよいし、可視光撮影用でも赤外光撮影用カメラであってもよい。
ロボット装置5は、例えば、CPU等で構成される制御部、プログラムなどを記憶する記憶部、RC20と通信を行う通信インタフェース、上記ロボットアーム30と同様のロボットアーム、他律的又は自律的に移動するための車輪モジュール等を備える。これにより、ロボット装置5は、工場内を移動し、所定の作業を行うように適宜構成される。なお、ロボット装置5の種類は、特に限定されず、もちろん人型でなくてもよく、工場内で行う作業に応じて適宜選択されてよい。
ユーザ端末4は、例えば、CPU等で構成される制御部、プログラム等を記憶する記憶部、ネットワークを介した通信を行うための通信インタフェース、及び入出力装置が電気的に接続されたコンピュータである。ユーザ端末4は、学習装置1を運用するサービス提供者に対して依頼者が機械学習の依頼(学習依頼)を行うのに利用される。ユーザ端末4には、例えば、ネットワークに接続可能なデスクトップPC、タブレットPC、スマートフォンを含む携帯電話等が用いられてよい。
<学習装置>
次に、図5を用いて、本実施形態に係る学習装置1のソフトウェア構成の一例を説明する。図5は、本実施形態に係る学習装置1のソフトウェア構成の一例を模式的に例示する。
次に、学習器について説明する。図5に示されるとおり、本実施形態に係る学習器は、ニューラルネットワーク6により構成される。ニューラルネットワーク6は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層61、中間層(隠れ層)62、及び出力層63を備えている。
次に、図6を用いて、本実施形態に係るロボットアームシステム2のソフトウェア構成の一例を説明する。図6は、本実施形態に係るRC20を含むロボットアームシステム2のソフトウェア構成の一例を模式的に例示する。
学習装置1及びロボットアームシステム2(RC20)の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、学習装置1及びRC20の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、学習装置1及びRC20それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
[学習装置]
次に、図7を用いて、学習装置1の動作例を説明する。図7は、本実施形態に係る学習装置1の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS101では、制御部11は、学習依頼受付部110として動作し、依頼者から学習依頼を受け付ける。例えば、依頼者は、ユーザ端末4を操作して、機械学習させる対象となる学習対象装置の指定、及び学習対象装置に機械学習により獲得させる能力の指定を行う。この学習依頼の入力は、依頼者本人により行われるのではなく、依頼者から依頼内容を聞いた者により行われてもよい。すなわち、依頼内容の入力は、依頼者本人によって実施されなくてもよい。学習対象装置及び獲得対象の能力の指定が完了すると、制御部11は、次のステップS102に処理を進める。
ステップS102では、制御部11は、許可範囲設定部111として動作し、ステップS101で指定された学習対象装置の可動範囲内に、当該学習対象装置の動作を許可する許可範囲を設定する。本実施形態では、制御部11は、ロボットアーム30の可動範囲308内で、当該ロボットアーム30の動作を許可する許可範囲309を設定する。許可範囲309の設定が完了すると、制御部11は、次のステップS103に処理を進める。
ステップS103では、制御部11は、状況取得部112として動作し、ステップS101で指定された学習対象装置の可動範囲の状況を監視する監視装置から、当該可動範囲の状況を示す状況情報を取得する。本実施形態では、制御部11は、ステップS101で取得した情報を利用してRC20にアクセスして、RC20に接続されたカメラ31を利用して、可動範囲308の状況を撮影する。これにより、制御部11は、可動範囲308の状況を映した撮影画像を状況情報として取得することができる。撮影画像を取得すると、制御部11は、次のステップS104に処理を進める。
ステップS104では、制御部11は、遠隔操作部113として動作し、制御データを学習対象装置に送信することで、ステップS101で指定された能力に関連する動作を実行するように学習対象装置を遠隔操作する。本実施形態では、制御部11は、ネットワーク10を介して、ステップS101で指定された能力に関連する所定の動作を指令する制御データをRC20に送信する。制御データは、例えば、各関節部302の駆動モータの駆動量を規定する。RC20は、後述するとおり、受信した制御データに基づいて、ロボットアーム30の各関節部302を駆動する。これにより、制御部11は、ロボットアームシステム2を遠隔操作する。ロボットアームシステム2の遠隔操作を行った後、制御部11は、次のステップS105に処理を進める。
ステップS105では、制御部11は、学習データ収集部114として動作し、ステップS104による遠隔操作の結果に基づいて、指定された能力の機械学習のための学習データ122を収集する。学習データ122を収集し終えると、制御部11は、次のステップS106に処理を進める。
ステップS106では、制御部11は、十分な件数の学習データ122を収集したか否かを判定する。十分な件数の学習データ122を収集したと判定した場合には、制御部11は、次のステップS107に処理を進める。他方、十分な件数の学習データ122を収集していないと判定した場合には、制御部11は、ステップS103〜S105の処理を繰り返す。
ステップS107では、制御部11は、機械学習のための遠隔操作が完了したことを示す完了通知をロボットアームシステム2に送信する。完了通知の送信が完了すると、制御部11は、次のステップS108に処理を進める。
ステップS108では、制御部11は、学習処理部115として動作し、ステップS105により収集した学習データ122を用いて、指定された能力を獲得させるようにニューラルネットワーク6の機械学習を行う。
ステップS109では、制御部11は、能力付与データ生成部116として動作し、機械学習が完了した学習済みのニューラルネットワーク6をロボットアームシステム2(RC20)に装備させることで指定された能力をロボットアームシステム2に付与するための能力付与データ123を生成する。能力付与データ123を生成した後、制御部11は、次のステップS110に処理を進める。
ステップS110では、配信部117として動作し、ネットワーク10を介して、ステップS109で生成した能力付与データ123をロボットアームシステム2に配信する。RC20は、受信した能力付与データ123をインストールすることで、ステップS101で指定された能力を獲得することができる。能力付与データ123の配信が完了すると、制御部11は、本動作例に係る処理を終了する。
次に、図8を用いて、ロボットアームシステム2の動作例を説明する。図8は、本実施形態に係るロボットアームシステム2の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
ステップS201では、RC20の制御部21は、遠隔操作受付部211として動作し、指定された能力に関連する動作の実行を指示する遠隔操作の指令を学習装置1から受け付ける。本ステップS201は、本発明の「受付ステップ」の一例である。具体的には、制御部21は、上記ステップS104の制御データによる遠隔操作の指令を学習装置1から受け付ける。このとき、制御部21は、複数の動作の実行を指示する複数件の制御データを受信してもよい。制御データを受信すると、制御部21は、次のステップS202に処理を進める。
ステップS202では、制御部21は、動作処理部212として動作し、ステップS201で受け付けた遠隔操作の指令に従って、指定された能力に関連する動作を実行する。本ステップS202は、本発明の「実行ステップ」の一例である。本実施形態では、制御部21は、制御データに基づいて、各関節部302の駆動モータを駆動することにより、遠隔操作の指令に応じた動作をロボットアーム30に実行させる。本ステップS202によって遠隔操作の指令に従って動作を実行している間に、制御部21は、次のステップS203及びS204を実行する。
ステップS203では、制御部21は、表示制御部213として動作し、学習装置1の遠隔操作による動作中であることディスプレイ32に表示させる。本ステップS203は、本発明の「表示ステップ」の一例である。ディスプレイ32の表示制御が完了すると、制御部21は、次のステップS204に処理を進める。
ステップS204では、制御部21は、通知部214として動作し、通信インタフェース24を制御することで、学習装置1の遠隔操作による動作中であることを周辺装置(例えば、ロボット装置5)に通知する。本ステップS204は、本発明の「通知ステップ」の一例である。当該通知が完了すると、制御部21は、次のステップS205に処理を進める。
ステップS205では、制御部21は、学習装置1からの遠隔操作が完了したか否かを判定する。本実施形態では、遠隔操作が完了した際に、上記ステップS107により、学習装置1から完了通知が送信される。そのため、制御部21は、完了通知を受信したか否かによって、学習装置1による遠隔操作が完了したか否かを判定する。遠隔操作が完了したと判定した場合、換言すると、学習装置1からの遠隔操作が完了した後、制御部21は、次のステップS206に処理を進める。他方、遠隔操作が完了していないと判定した場合には、制御部21は、ステップS201〜S204の処理を繰り返す。
ステップS206では、制御部21は、表示制御部213として動作し、学習装置1の遠隔操作による動作が完了したことをディスプレイ32に表示させる。本ステップS206は、本発明の「完了表示ステップ」の一例である。ディスプレイ32に表示させる内容は、学習装置1の遠隔操作による動作が完了したことに関する内容であれば特に限定されなくてもよい。例えば、制御部21は、「遠隔操作終了」又は「遠隔操作による動作は完了しました」とディスプレイ32に表示させてもよい。これにより、ロボットアームシステム2の周囲に存在する作業者に、学習装置1の遠隔操作による動作が完了し、突然動くことはないことを知らせることができる。当該完了表示が完了すると、制御部21は、次のステップS207に処理を進める。
ステップS207では、制御部21は、通知部214として動作し、通信インタフェース24を制御することで、学習装置1の遠隔操作による動作が完了したことを周辺装置(例えば、ロボット装置5)に通知する。本ステップS207は、本発明の「完了通知ステップ」の一例である。当該通知が完了すると、制御部21は、本動作例に係る処理を終了する。
以上のように、本実施形態に係る学習装置1は、上記ステップS101により、依頼者からの学習依頼として、機械学習させる対象となる学習対象装置及び当該学習対象装置に獲得させる能力の指定を受け付ける。また、学習装置1は、上記ステップS104及びS105により、学習対象装置(ロボットアームシステム2)を遠隔操作することで、学習依頼で指定された能力の機械学習に利用するための学習データ122を収集する。更に、学習装置1は、上記ステップS108により、収集した学習データ122を利用して、学習依頼で指定された能力を獲得させるようにニューラルネットワーク6の機械学習を実施する。これによって、学習依頼で指定された能力を学習対象装置に実施させるための学習済みのニューラルネットワーク6を構築することができる。また、遠隔地に配置された学習対象装置(ロボットアームシステム2)には、ステップS201及びS202により、ステップS101で指定された能力に関連する動作を実行させるに過ぎず、ステップS108の機械学習の処理は、学習装置1に実行させる。そのため、遠隔地に配置された学習対象装置のマシンパワーが制限されていても、当該学習対象装置に獲得させる能力の機械学習の処理を実施することができる。したがって、本実施形態によれば、遠隔地に配置された装置に新たな能力を適切に追加するための技術的な仕組みを提供することができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、学習対象装置の一例として、ロボットアームシステム2を例示した。しかしながら、学習対象装置の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
また、上記実施形態では、図5に示されるとおり、ニューラルネットワーク6として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、ニューラルネットワーク6の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、入力データとして画像を用いる場合、ニューラルネットワーク6には、畳み込み層及びプーリング層を備える畳み込みニューラルネットワークを用いてもよい。また、例えば、入力データとして時系列データを用いる場合、ニューラルネットワーク6には、中間層から入力層等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークが用いられてもよい。なお、ニューラルネットワーク6の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
また、上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、学習器には、サポートベクターマシン、自己組織化マップ、強化学習により学習を行う学習器等が用いられてもよい。なお、強化学習の手法を用いて機械学習を行う場合には、上記ステップS104の遠隔操作を実施している間に、ステップS108の機械学習の処理を実施してもよい。
また、上記実施形態では、可動範囲308の状況を監視する監視装置の一例として、カメラ31が例示されている。しかしながら、監視装置の種類は、撮影装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、監視装置は、1又は複数の赤外線センサで構成された、学習対象装置の動作位置(上記実施形態では、ロボットアーム30の位置)を検出する位置検出システムであってもよい。この場合、学習装置1は、上記ステップS103において、位置検出システムの検出結果を示す情報を状況情報として取得することができる。
また、上記実施形態に係る学習装置1は、上記ステップS109により、能力付与データ123を生成する。そして、学習装置1は、上記ステップS110により、学習対象装置であるロボットアームシステム2に能力付与データ123を配信する。しかしながら、能力付与データ123の生成方法及び配信方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
また、上記実施形態では、学習装置1は、1台のコンピュータにより構成されている。しかしながら、学習装置1は、複数台のコンピュータにより構成されてもよい。この場合、学習装置1の一部のソフトウェアモジュールを各コンピュータに実装してもよい。例えば、学習データ収集部114のみを1台のコンピュータに実装してもよい。そして、機械学習の実施に際して、学習データ収集部114を実装したコンピュータを依頼者に貸し出してもよい。これにより、ステップS104における学習データ122の収集処理のリアルタイム性を高めることができる。
また、上記ステップS101では、制御部11は、学習依頼として、学習対象装置(ロボットアームシステム2)において遠隔操作を許可するために設定されたパスワードの指定を更に受け付けてもよい。この場合、上記ステップS104では、制御部11は、指定されたパスワードによってロボットアームシステム2において認証を受けた後に、当該ロボットアームシステム2を遠隔操作するようにしてもよい。これにより、ロボットアームシステム2を遠隔操作する際のセキュリティを高めることができる。
また、上記ステップS101では、制御部11は、学習依頼として、学習対象装置(ロボットアームシステム2)において遠隔操作を許可する時間帯の指定を更に受け付けてもよい。この場合、制御部11は、指定された時間帯にのみ上記ステップS104(ロボットアームシステム2の遠隔操作)を実行するようにしてもよい。これにより、例えば、ロボットアームシステム2を利用しない夜間又は早朝の時間帯に、当該ロボットアームシステム2の機械学習に利用する学習データ122を収集するようにすることができる。そのため、ロボットアームシステム2の利用効率を高めることができる。
また、上記ステップS101では、制御部11は、学習依頼として、学習対象装置(ロボットアームシステム2)において遠隔操作を許可する学習期間の指定を更に受け付けてもよい。この場合、制御部11は、指定された学習期間内に上記ステップS104(ロボットアームシステム2の遠隔操作)を実行し、指定された学習期間の経過後に、ロボットアームシステム2の遠隔操作に利用した情報(例えば、IPアドレス)を削除するようにしてもよい。
また、上記実施形態では、学習装置1は、上記ステップS101により学習依頼を受け付けた後、ステップS108において、受け付けた学習依頼で指定された能力を機械学習により獲得させたニューラルネットワーク6を構築するまで、一連の処理を実行する。しかしながら、学習装置1による学習依頼の処理態様は、このような例に限定されなくてもよい。例えば、学習装置1は、学習依頼の破棄を受け付け可能に構成されてもよい。
ステップS301では、制御部11は、破棄受付部118として動作し、学習依頼の破棄を受け付ける。学習依頼の破棄を所望する依頼者は、ユーザ端末4を操作して、ステップS101で行った学習依頼の破棄の要求を学習装置1に対して行う。上記ステップS108の処理を開始するまでに学習依頼の破棄を受け付けた場合には、制御部11は、次のステップS302に処理を進める。他方、上記ステップS108の処理を開始するまでに学習依頼の破棄を受け付けなかった場合には、制御部11は、次のステップS302の処理を省略し、学習依頼の破棄に係る処理を終了する。
ステップS302では、制御部11は、データ削除部119として動作し、学習依頼の破棄を受け付けるまでにステップS105により収集した学習データ122及びロボットアームシステム2の遠隔操作に利用した情報(例えば、IPアドレス)を含む学習依頼の関する情報を削除する。学習依頼に関する情報には、ロボットアームシステム2の遠隔操作に利用した情報の他、例えば、ステップS101で指定された学習依頼の内容を示す情報が含まれる。学習依頼に関連する情報の削除が完了すると、制御部11は、当該学習依頼の破棄に係る処理を終了する。本変形例によれば、不要になった機械学習の依頼を破棄することができ、これによって、学習装置のリソースの効率化を図ることができる。
また、上記実施形態では、制御部21は、ステップS206により、遠隔操作が完了したことをディスプレイ32に表示している。しかしながら、上記ロボットアームシステム2の処理手順において、当該ステップS206の処理は省略されてもよい。
また、上記実施形態では、ロボットアームシステム2のステータスを表示する表示部としてディスプレイ32を利用している。しかしながら、表示部の種類は、ディスプレイに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、図11に示されるとおり、表示部には、表示灯が用いられてもよい。
また、上記実施形態では、制御部11は、ステップS105において、センサデータ及び目標データと制御データとを組にすることで、学習データ122を生成している。これらのうち、センサデータは、学習対象装置の状態を示す状態データの一例である。しかしながら、状態データの種類は、センサデータに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、学習対象装置の動作を制御する際に、状態データが不要である場合、当該状態データは、学習データから省略されてもよい。上記実施形態では、制御部11は、ステップS105において、目標データと制御データとを組にすることで、学習データ122を生成してもよい。
11…制御部、12…記憶部、13…通信インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
110…学習依頼受付部、111…許可範囲設定部、
112…状況取得部、113…遠隔操作部、
114…学習データ収集部、115…学習処理部、
116…能力付与データ生成部、117…配信部、
118…破棄受付部、119…データ削除部、
121…学習プログラム、122…学習データ、
123…能力付与データ、
2…ロボットアームシステム、
20…RC、
21…制御部、22…記憶部、23…外部インタフェース、
24…通信インタフェース、
211…遠隔操作受付部、212…動作処理部、
213…表示制御部、214…通知部、
221…制御プログラム、
30…ロボットアーム、
301…基台部、302…関節部、
303…リンク部、304…エンドエフェクタ、
308…可動範囲、309…許可範囲、
31…カメラ、32…ディスプレイ、
4…ユーザ端末、5…ロボット装置、
6…ニューラルネットワーク、
61…入力層、62…中間層(隠れ層)、63…出力層
Claims (9)
- 依頼者からの学習依頼に応じて指定された能力を獲得するための機械学習を行う学習装置に対して遠隔地に配置され、当該学習装置の機械学習により当該指定された能力を獲得させる対象となる学習対象装置であって、
表示部と、
制御部と、
を備え、
前記制御部は、
指定された前記能力に関連する動作の実行を指示する遠隔操作の指令を前記学習装置から受け付ける受付ステップと、
受け付けた前記遠隔操作の指令に従って、指定された前記能力に関連する動作を実行する実行ステップと、
前記遠隔操作の指令に従って前記動作を実行している間に、前記学習装置の前記遠隔操作による動作中であることを前記表示部に表示させる表示ステップと、
を実行するように構成される、
学習対象装置。 - 周囲に配置された周辺装置と通信を行うように構成された通信部を更に備え、
前記制御部は、前記遠隔操作の指令に従って前記動作を実行している間に、前記周辺装置に対して、前記学習装置の前記遠隔操作による動作中であることを前記通信部により通知する通知ステップを更に実行するように構成される、
請求項1に記載の学習対象装置。 - 前記制御部は、前記学習装置からの前記遠隔操作が完了した後、前記周辺装置に対して、前記遠隔操作による動作が完了したことを前記通信部により通知する完了通知ステップを更に実行するように構成される、
請求項2に記載の学習対象装置。 - 前記制御部は、前記学習装置からの前記遠隔操作が完了した後、前記遠隔操作による動作が完了したことを前記表示部に表示させる完了表示ステップを更に実行するように構成される、
請求項1から3のいずれか1項に記載の学習対象装置。 - 前記表示部は、ディスプレイであり、
前記制御部は、前記表示ステップにおいて、前記学習装置の前記遠隔操作による動作の内容を前記ディスプレイに表示させる、
請求項1から4のいずれか1項に記載の学習対象装置。 - 前記制御部は、
前記受付ステップでは、複数の動作の実行を指示する前記指令を受け付け、
前記表示ステップでは、前記実行ステップにより実行中の動作の次に実行する動作の内容を前記ディスプレイに表示させる、
請求項5に記載の学習対象装置。 - 前記制御部は、実行中の動作が危険な動作である場合に、前記表示ステップにおいて、実行中の動作が危険な動作であることを前記ディスプレイに表示させる、
請求項5又は6に記載の学習対象装置。 - 前記表示部は、表示灯であり、
前記表示制御部は、
前記表示ステップでは、第1の表示態様で前記表示灯を発光させることで、前記学習装置の前記遠隔操作による動作中であること前記表示灯に表示させ、
前記完了表示ステップでは、前記第1の表示態様とは異なる第2の表示態様で前記表示灯を発光させることで、前記遠隔操作による動作が完了したことを前記表示灯に表示させる、
請求項4に記載の学習対象装置。 - 依頼者からの学習依頼に応じて指定された能力を獲得するための機械学習を行う学習装置に対して遠隔地に配置され、当該学習装置の機械学習により当該指定された能力を獲得させる対象となる学習対象装置であって、表示部を備える学習対象装置が、
指定された前記能力に関連する動作の実行を指示する遠隔操作の指令を前記学習装置から受け付ける受付ステップと、
受け付けた前記遠隔操作の指令に従って、指定された前記能力に関連する動作を実行する実行ステップと、
前記遠隔操作の指令に従って前記動作を実行している間に、前記学習装置の前記遠隔操作による動作中であることを前記表示部に表示させる表示ステップと、
を実行する、
動作方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/008141 WO2018168537A1 (en) | 2017-03-14 | 2018-03-02 | Learning target apparatus and operating method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017048335 | 2017-03-14 | ||
JP2017048335 | 2017-03-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018149670A true JP2018149670A (ja) | 2018-09-27 |
JP6897593B2 JP6897593B2 (ja) | 2021-06-30 |
Family
ID=63680874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023614A Active JP6897593B2 (ja) | 2017-03-14 | 2018-02-14 | 学習対象装置及び動作方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6897593B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112584990A (zh) * | 2018-11-30 | 2021-03-30 | 欧姆龙株式会社 | 控制装置、控制方法以及控制程序 |
JP7402450B2 (ja) | 2019-10-09 | 2023-12-21 | Telexistence株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166809A (ja) * | 1994-10-14 | 1996-06-25 | Kobe Steel Ltd | 複数台ロボットの干渉回避方法及び作業順・作業分担決定方法 |
JP2008544814A (ja) * | 2005-06-30 | 2008-12-11 | インテュイティブ サージカル, インコーポレイテッド | マルチアームロボット遠隔手術におけるツール状態および通信のためのインディケータ |
JP2011204145A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 移動装置、移動方法およびプログラム |
US20140316570A1 (en) * | 2011-11-16 | 2014-10-23 | University Of South Florida | Systems and methods for communicating robot intentions to human beings |
US20150283702A1 (en) * | 2014-04-03 | 2015-10-08 | Brain Corporation | Learning apparatus and methods for control of robotic devices via spoofing |
US20160129592A1 (en) * | 2014-11-11 | 2016-05-12 | Google Inc. | Dynamically Maintaining A Map Of A Fleet Of Robotic Devices In An Environment To Facilitate Robotic Action |
-
2018
- 2018-02-14 JP JP2018023614A patent/JP6897593B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08166809A (ja) * | 1994-10-14 | 1996-06-25 | Kobe Steel Ltd | 複数台ロボットの干渉回避方法及び作業順・作業分担決定方法 |
JP2008544814A (ja) * | 2005-06-30 | 2008-12-11 | インテュイティブ サージカル, インコーポレイテッド | マルチアームロボット遠隔手術におけるツール状態および通信のためのインディケータ |
JP2011204145A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 移動装置、移動方法およびプログラム |
US20140316570A1 (en) * | 2011-11-16 | 2014-10-23 | University Of South Florida | Systems and methods for communicating robot intentions to human beings |
US20150283702A1 (en) * | 2014-04-03 | 2015-10-08 | Brain Corporation | Learning apparatus and methods for control of robotic devices via spoofing |
US20160129592A1 (en) * | 2014-11-11 | 2016-05-12 | Google Inc. | Dynamically Maintaining A Map Of A Fleet Of Robotic Devices In An Environment To Facilitate Robotic Action |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112584990A (zh) * | 2018-11-30 | 2021-03-30 | 欧姆龙株式会社 | 控制装置、控制方法以及控制程序 |
CN112584990B (zh) * | 2018-11-30 | 2024-05-10 | 欧姆龙株式会社 | 控制装置、控制方法以及存储介质 |
JP7402450B2 (ja) | 2019-10-09 | 2023-12-21 | Telexistence株式会社 | ロボット制御装置、ロボット制御方法及びロボット制御システム |
Also Published As
Publication number | Publication date |
---|---|
JP6897593B2 (ja) | 2021-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6900918B2 (ja) | 学習装置及び学習方法 | |
US10555152B2 (en) | Drone-to-drone information exchange | |
US20170303825A1 (en) | Gait Analysis Medical Assistance Robot | |
KR102219598B1 (ko) | 설비용 화재 모니터링 시스템 | |
US10889002B2 (en) | Multi-device robot control | |
KR20180039821A (ko) | 모니터링 시스템 제어 방법 및 이를 지원하는 전자 장치 | |
JP6802599B1 (ja) | 検査システム | |
JP2019191748A (ja) | 生産性向上支援システムおよび生産性向上支援プログラム | |
KR102093477B1 (ko) | 이종 카메라 기반의 위험지역 안전관리 방법 및 장치 | |
Singh et al. | Wi-Fi surveillance bot with real time audio & video streaming through Android mobile | |
US20240069550A1 (en) | Method for processing abnormality of material pushing robot, device, server, and storage medium | |
JP6897593B2 (ja) | 学習対象装置及び動作方法 | |
WO2019212035A1 (ja) | 飛行体の制御に関する情報表示方法 | |
Fawzi et al. | Embedded real-time video surveillance system based on multi-sensor and visual tracking | |
JP6893526B2 (ja) | ロボット制御装置、ロボット制御方法及びロボット | |
WO2020012983A1 (ja) | 制御装置、制御方法、およびプログラム | |
KR20120067649A (ko) | 군집 로봇의 상태 관리 장치 및 방법 | |
KR102085168B1 (ko) | 인체추적 기반 위험지역 안전관리 방법 및 장치 | |
WO2018168537A1 (en) | Learning target apparatus and operating method | |
JP7153194B2 (ja) | 遠隔監視システム及び監視サーバ | |
JP5013995B2 (ja) | 監視システム | |
EP4209849A1 (en) | Telepresence robots having cognitive navigation capabilit | |
CN112975989B (zh) | 机器人安全运行方法、设备及存储介质 | |
WO2018168536A1 (en) | Learning apparatus and learning method | |
KR102138006B1 (ko) | 보안 로봇 제어 방법 및 그 방법을 지원하는 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6897593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |